kafka-consumer-api

7calore

2risposta

SBT non può importare Kafka classi encoder/decoder

progetto di installazione: 1 produttori - serialises oggetti & invia byte alla Kafka 1 scintilla dei consumatori - dovrebbero utilizzare DefaultDecoder nel pacchetto kafka.serializer di consumare byte

5calore

4risposta

Come creare argomenti in apache kafka?

Qual è la strada migliore per creare argomenti in kafka? Quante repliche/partizioni da definire quando creiamo gli argomenti? Nella nuova API di produzione, quando provo a pubblicare un messaggio su u

8calore

2risposta

Kafka genera java.nio.channels.ClosedChannelException

Quando provo a utilizzare i messaggi dal server kafka che è ospitato in ec2 con lo strumento console kafka (V 0.9.0.1, penso che usi le vecchie API consumer) Ottengo l'eccezione seguente . Come posso

8calore

3risposta

Come posso ottenere l'ULTIMO offset di un argomento di kafka?

Sto scrivendo un utente kafka utilizzando Java. Voglio mantenere il tempo reale del messaggio, quindi se ci sono troppi messaggi in attesa di consumare, come 1000 o più, dovrei abbandonare i messaggi

6calore

2risposta

Temi, partizioni e chiavi

Sto cercando qualche chiarimento sull'argomento. Nella documentazione di Kafka ho trovato quanto segue: Kafka fornisce solo un ordine totale sui messaggi all'interno di una partizione, non tra diverse

5calore

1risposta

È possibile ottenere uno specifico offset di messaggio in Kafka + SparkStreaming?

Sto cercando di ottenere e memorizzare l'offset per un messaggio specifico in Kafka utilizzando Spark Direct Stream. Guardare la documentazione di Spark è semplice per ottenere gli offset di gamma per

8calore

3risposta

Kafka Java SimpleConsumer strana codifica

Sto tentando di usare il SimpleConsumer in Kafka 9 per consentire agli utenti di riprodurre gli eventi da un offset di tempo - ma i messaggi che ricevo di ritorno da Kafka sono in modo molto strano di

7calore

1risposta

La decodifica Avro fornisce java.io.EOFException

Uso lo schema avro Apache con Kafka 0.0.8V. I Usa lo stesso schema ai fini del produttore/consumatore. C'è NESSUNA modifica nello schema. Ma ottengo qualche eccezione al consumatore, quando cerco di c

5calore

1risposta

Il metodo poll() di Kafka Consumer viene bloccato

Sono nuovo di Kafka 0.9 e testando alcune funzionalità ho realizzato uno strano comportamento nel consumer implementato in Java (KafkaConsumer). Il broker Kafka si trova in una macchina esterna Ambari

6calore

2risposta

Esiste un modo per mantenere l'ordine dei messaggi tra le partizioni di un argomento di kafka con un singolo consumatore?

Stiamo sviluppando un sistema di streaming basato su kafka in cui il produttore produrrebbe a più partizioni all'interno del suo argomento e un singolo consumatore consumerebbe dall'argomento. So che