apache-kafka

6calore

1risposta

Output Dstream di Apache Spark in Python

Sto provando le tecnologie che userò per costruire una pipeline di dati in tempo reale, e ho incontrato alcuni problemi nell'esportazione dei miei contenuti in un file. Ho installato un cluster kafka

7calore

1risposta

Persistendo Spark uscita Streaming

Sto raccogliendo i dati da un'applicazione di messaggistica, Attualmente sto usando Flume, invia circa 50 milioni di dischi al giorno Vorrei usare Kafka, consumano da Kafka usando Spark Streaming e pe

8calore

4risposta

Numero massimo di ripetizioni della tupla su Storm Kafka Spout

Usiamo Storm con il becco Kafka. Quando falliamo i messaggi, vorremmo rieseguirli, ma in alcuni casi dati errati o errori di codice faranno sì che i messaggi falliscano sempre in un Bolt, quindi entre

7calore

3risposta

Avere un consumer Kafka leggere un singolo messaggio alla volta

Abbiamo l'installazione di Kafka per essere in grado di elaborare i messaggi in parallelo da diversi server. Ma ogni messaggio deve essere elaborato esattamente una sola volta (e da un solo server). A

10calore

3risposta

Apache Kafka è in grado di gestire le transazioni?

intendiamo utilizzare Kafka come componente centrale nel nostro data warehouse dato che il produttore è in grado di gestire le transazioni (in breve: rollback e commit). Quando googling Kafka + transa

11calore

6risposta

Errore durante la creazione degli argomenti di Kafka - Fattore di replica maggiore dei broker disponibili

Sto cercando di creare argomenti in Kafka seguendo la guida sul sito Web di Apache Kafka tramite la riga di comando. Durante l'esecuzione del comando: bin/kafka-topics.sh --create --zookeeper localhos

6calore

1risposta

Invio di CSV grandi a Kafka usando python Spark

Sto provando a inviare un grande CSV a kafka. La struttura di base è leggere una riga del CSV e comprimerla con l'intestazione. a = dict(zip(header, line.split(",") questo viene poi convertito in un

80calore

3risposta

Che cosa determina l'offset del consumatore Kafka?

Sono relativamente nuovo a Kafka. Ho fatto un po 'di esperimenti ma alcune cose non sono chiare per quanto riguarda l'offset del consumatore. Da quello che ho capito, quando un consumatore inizia, l'o

7calore

1risposta

Come elencare i produttori in kafka

Proprio come Kafka Offset Monitor può mostrare un elenco di consumatori attivi di un argomento, c'è qualche strumento o interfaccia a riga di comando o qualcosa che può elencare il nome della pubblica

7calore

1risposta

È possibile creare un argomento kafka con il conteggio delle partizioni dinamico?

Sto utilizzando kafka per trasmettere in streaming gli eventi delle visite alle pagine degli utenti del sito Web a un servizio di analisi. Ogni evento conterrà i seguenti dettagli per il consumatore: