apache-kafka

7calore

3risposta

Vorrei chiedere se la mia comprensione di Kafka è corretta. Per flussi di dati veramente grandi, i database convenzionali non sono adeguati, quindi le persone usano cose come Hadoop o Storm. Kafka si

5calore

4risposta

Come creare argomenti in apache kafka?

Qual è la strada migliore per creare argomenti in kafka? Quante repliche/partizioni da definire quando creiamo gli argomenti? Nella nuova API di produzione, quando provo a pubblicare un messaggio su u

8calore

2risposta

Kafka genera java.nio.channels.ClosedChannelException

Quando provo a utilizzare i messaggi dal server kafka che è ospitato in ec2 con lo strumento console kafka (V 0.9.0.1, penso che usi le vecchie API consumer) Ottengo l'eccezione seguente . Come posso

7calore

1risposta

La decodifica Avro fornisce java.io.EOFException

Uso lo schema avro Apache con Kafka 0.0.8V. I Usa lo stesso schema ai fini del produttore/consumatore. C'è NESSUNA modifica nello schema. Ma ottengo qualche eccezione al consumatore, quando cerco di c

9calore

5risposta

Abilita JMX su Kafka Brokers

ho attivato JMX il broker Kafka con l'aggiunta di `KAFKA_JMX_OPTS="-Dcom.sun.management.jmxremote=true -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=fa

6calore

2risposta

Esiste un modo per mantenere l'ordine dei messaggi tra le partizioni di un argomento di kafka con un singolo consumatore?

Stiamo sviluppando un sistema di streaming basato su kafka in cui il produttore produrrebbe a più partizioni all'interno del suo argomento e un singolo consumatore consumerebbe dall'argomento. So che

5calore

2risposta

get topic from kafka message in spark

Nel nostro lavoro spark-streaming leggiamo messaggi in streaming da kafka. Per questo, utilizziamo l'API KafkaUtils.createDirectStream che restituisce JavaPairInputDStreamfrom. I messaggi vengono lett

6calore

1risposta

Posso creare un RDD da un argomento di kafka se non conosco l'offset?

KafkaUtils.createRDD utilizza come parametro l'offsetRanges. Non conosco l'offset dell'argomento da cui voglio leggere. Voglio leggere al massimo i primi 30 messaggi nell'argomento. Vedo che c'è un Ka

19calore

1risposta

Quali sono i limiti del nome dell'argomento di Apache Kafka?

Ho appena provato a creare un argomento Kafka "user:created" e ho visto questo errore nei registri di Kafka: Invalid character ':' in value part of property. Ho cercato su Google e ho scoperto che in

5calore

2risposta

Replica di messaggi da un argomento di Kafka a un altro argomento di kafka

Voglio fare un flusso da un cluster/argomento di Kafka nel cluster di produzione in un altro cluster Kafka nell'ambiente di sviluppo per la scalabilità e il test di regrrssione. Per la soluzione di na