Stavo cercando su google e leggendo la documentazione di Kafka, ma non sono riuscito a trovare il valore massimo di uno scostamento consumatore e se è presente un offset dopo il valore massimo. Capisco che l'offset sia un valore Int64, quindi il valore massimo è 0xFFFFFFFFFFFFFFFFFF. Se c'è un avvolgimento, come fa Kafka a gestire questa situazione?Valore massimo di offset consumatore di Kafka?
7
A
risposta
17
Secondo questa post, l'offset non viene azzerato:
Non eseguiamo il roll back offset in questo momento. Poiché l'offset è lungo, lo può durare a lungo. Se scrivi 1 TB al giorno, puoi andare avanti allo per circa 4 milioni di giorni.
Inoltre, è sempre possibile utilizzare più partizioni (ciascuna partizione ha il proprio offset ).
Così come disse Luciano, probabilmente non vale la pena preoccuparsi.
2
Sembra che questo non sia veramente "gestito". Ma, tenendo conto che l'offset è per partizione, a quanto pare questo è qualcosa che non dovremmo preoccupare :)
Si prega di vedere http://search-hadoop.com/m/uyzND1uRn8D1sSH322/rollover/v=threaded
Sì. Proprio come Y2K :) – Nick