apache-kafka

12calore

2risposta

Algoritmo di riequilibrio dei consumi di Kafka

Qualcuno può dirmi qual è l'algoritmo di riequilibrio per i consumatori di Kafka? Mi piacerebbe capire in che modo il conteggio delle partizioni e i thread dei consumatori influiscono su questo. Grazi

8calore

3risposta

elaborazione del log in tempo reale utilizzando lo streaming spark di apache

Voglio creare un sistema in cui sia possibile leggere i registri in tempo reale e utilizzare la scintilla di apache per elaborarli. Sono confuso se dovrei usare qualcosa come kafka o flume per passare

5calore

2risposta

Kafka in sistema distribuito

Sono nuovo di kafka, sto eseguendo kafka in una singola macchina sin d'ora. Voglio eseguire kafka in un ambiente distribuito su più macchine. Non esiste una documentazione adeguata per questo. Qualsia

24calore

2risposta

Perché i consumatori di Kafka si connettono a Zookeeper ei produttori ottengono metadati dai broker?

Perché gli utenti si connettono a Zookeeper per recuperare le posizioni delle partizioni? E i produttori di kafka devono connettersi con uno dei broker per recuperare i metadati. Il mio punto è, qual

8calore

2risposta

Come decidere le dimensioni di Kafka Cluster

Sto pensando di stabilire quanti nodi devono essere presenti su Kafka Cluster. Non sono sicuro dei parametri da tenere in considerazione. Sono sicuro che deve essere> = 3 (con fattore di replicazione

5calore

3risposta

Aggiunta di intestazioni personalizzate nel messaggio di Kafka

Invio un file come messaggio convertendolo in un array di byte utilizzando kafka producer. Ho anche bisogno di aggiungere alcune intestazioni per il messaggio, ad esempio nome file, data e ora ecc. Qu

10calore

3risposta

Errore nella creazione argomento Kafka: - fattore di replica più grande di broker disponibili

Sto cercando di creare un argomento Kafka tramite AdminCommand utilizzando sottostante Codice Source ZkClient zkClient = new ZkClient(kafkaHost, 10000, 10000, ZKStringSerializer$.MODULE$); AdminU

13calore

3risposta

Kafka - Impossibile inviare un messaggio a un server remoto utilizzando Java

Sto tentando di creare un cluster Kafka per inviare messaggi a un controllo remoto. Ho configurato tutto come descritto here. L'ho eseguito su una macchina Linux red hat e funziona perfettamente con l

6calore

1risposta

java Errore produttore Kafka

Ho creato il produttore di kafka java. ma console ha detto errore. il server kafka è in arrivo. e il produttore è sul mio mac. eppure il server kara è raggiungibile. Quando invio un messaggio dal prod

9calore

2risposta

Kafka consumatori appesi a .hasNext in java

Ho una semplice Kafka dei consumatori in Java con il seguente codice public void run() { ConsumerIterator<byte[], byte[]> it = m_stream.iterator(); while (it.hasNext()&& !done){ try