2016-04-06 18 views
8

Quando provo a utilizzare i messaggi dal server kafka che è ospitato in ec2 con lo strumento console kafka (V 0.9.0.1, penso che usi le vecchie API consumer) Ottengo l'eccezione seguente . Come posso superare questo? .Kafka genera java.nio.channels.ClosedChannelException

#/kafka-console-consumer.sh --zookeeper zookeeper1.xx.com:2181 --topic MY_TOPIC --from-cominciando

[2016-04-06 14:34:58,219] WARN Fetching topic metadata with correlation id 0 for topics [Set(MY_TOPIC)] from broker [BrokerEndPoint(1014,kafka3.xx.com,9092)] failed (kafka.client.ClientUtils$) 
java.nio.channels.ClosedChannelException 
    at kafka.network.BlockingChannel.send(BlockingChannel.scala:110) 
    at kafka.producer.SyncProducer.liftedTree1$1(SyncProducer.scala:75) 
    at kafka.producer.SyncProducer.kafka$producer$SyncProducer$$doSend(SyncProducer.scala:74) 
    at kafka.producer.SyncProducer.send(SyncProducer.scala:119) 
    at kafka.client.ClientUtils$.fetchTopicMetadata(ClientUtils.scala:59) 
    at kafka.client.ClientUtils$.fetchTopicMetadata(ClientUtils.scala:94) 
    at kafka.consumer.ConsumerFetcherManager$LeaderFinderThread.doWork(ConsumerFetcherManager.scala:66) 
    at kafka.utils.ShutdownableThread.run(ShutdownableThread.scala:63) 
[2016-04-06 14:34:58,222] WARN Fetching topic metadata with correlation id 0 for topics [Set(MY_TOPIC)] from broker [BrokerEndPoint(1013,kafka22.xx.com,9092)] failed (kafka.client.ClientUtils$) 
java.nio.channels.ClosedChannelException 
    at kafka.network.BlockingChannel.send(BlockingChannel.scala:110) 
    at kafka.producer.SyncProducer.liftedTree1$1(SyncProducer.scala:75) 
    at kafka.producer.SyncProducer.kafka$producer$SyncProducer$$doSend(SyncProducer.scala:74) 
    at kafka.producer.SyncProducer.send(SyncProducer.scala:119) 
    at kafka.client.ClientUtils$.fetchTopicMetadata(ClientUtils.scala:59) 
    at kafka.client.ClientUtils$.fetchTopicMetadata(ClientUtils.scala:94) 
    at kafka.consumer.ConsumerFetcherManager$LeaderFinderThread.doWork(ConsumerFetcherManager.scala:66) 
    at kafka.utils.ShutdownableThread.run(ShutdownableThread.scala:63) 
[2016- 

risposta

5

Il motivo per l'eccezione originale canale chiuso è, ho avuto qualche problema di DNS, che ho risolto modificando il file hosts locale miei

+1

Grazie mille per il suggerimento. Ho avuto lo stesso problema per un po 'sia nei miei centos che in windows 10. Non appena ho risolto il file' hosts 'in entrambe le macchine, l'errore è scomparso! – johnshumon

1

Questo è in realtà un AVVERTIMENTO - un grosso affare. Potrebbe essere il tuo argomento è corrotto? Prova a ricreare l'argomento.

+0

Non credo che per tutti gli argomenti dà lo stesso tipo di problema pls hanno uno sguardo http://stackoverflow.com/questions/36442668/failed-to-add-leader-for-partitions-in-kafka – Ratha

+0

Mi imbatto in diversi problemi con il nuovo consumatore, passa al ciclo infinito senza messaggi di polling. Quindi, soffocando con le vecchie API consumer (gli strumenti console consumer con la distribuzione di kafka) e ora dichiarato di ottenere questo tipo problemi di canale chiuso – Ratha

+0

Ecco alcuni problemi che devo affrontare http://stackoverflow.com/questions/36393867/if-my- produttore-produttore-allora-perché-il-consumatore-couldnt-consumare-it-stuck-pol http://stackoverflow.com/questions/36439818/warn-error-while-fetching-metadata-with-correlation-id-1 -my-topic-invalid-to – Ratha