Abbiamo un'applicazione che un utente legge un messaggio e il thread fa un certo numero di cose, inclusi gli accessi al database prima che un messaggio venga prodotto su un altro argomento. Il tempo tra il consumo e la produzione del messaggio sul thread può richiedere diversi minuti. Una volta che il messaggio viene prodotto su un nuovo argomento, viene eseguito un commit per indicare che abbiamo finito con il lavoro sul messaggio della coda dei consumatori. Il commit automatico è disabilitato per questo motivo.sessioni di consumo kafka timeout
sto usando il consumatore di alto livello e quello che sto notando è che zookeeper e Kafka sessioni di un timeout a causa sta prendendo troppo a lungo prima di fare qualsiasi cosa in coda dei consumatori in modo da Kafka finisce riequilibrio ogni volta che il filo risale al leggi di più dalla coda dei consumatori e inizia a richiedere molto tempo prima che un consumatore legga un nuovo messaggio dopo un po '.
Posso impostare un timeout di sessione per lo spettatore molto alto per non creare un problema, ma poi devo regolare di conseguenza i parametri di riequilibrio e kafka non rileverà un nuovo utente per un po 'tra gli altri effetti collaterali.
Quali sono le opzioni per risolvere questo problema? C'è un modo per battere il cuore di kafka e zookeeper per mantenere entrambi felici? Ho ancora questi stessi problemi se dovessi usare un semplice consumatore?
È più probabile che tu ti aiuti se spieghi il tuo problema. Dicendo che "vorresti ottenere un feedback" potrebbe far chiudere la tua domanda. Stack Overflow non è un forum; apprezziamo essere concisi e al punto. –