Hadoop DFS errore: INFO ipc.Client: Nuovo tentativo connettersi al server: localhost

Question

devo con successo l'installazione di un cluster Hadoop con 6 nodi (master, salve < 1-5>)

• formattato il NameNode -> fatto
• Avvio e spegnimento grappolo -> funziona bene
• esecuzione "DFS Hadoop -ls /" dà questo errore ->errore: INFO ipc.Client: Nuovo tentativo connettersi al server: localhost

.515.053.691,36321 milioni

Ho cercato di vedere i servizi in esecuzione utilizzando:

sudo netstat -plten | grep java 
hduser@ubuntu:~$ sudo netstat -plten | grep java 

tcp 0 0 0.0.0.0:50070 0.0.0.0:* LISTEN 1000 93307 11384/java
tcp 0 0 0.0.0.0:44440 0.0.0.0 : * ASCOLTA 1000 92491 11571/java
tcp 0 0 0.0.0.0:40633 0.0.0.0:* ASCOLTA 1000 92909 11758/java
tcp 0 0 0.0.0.0:50010 0.0.0.0:* ASCOLTA 1000 93449 11571/java
tcp 0 0 0.0.0.0:50075 0.0.0.0:* ASCOLTA 1000 93673 11571/java
tcp 0 0 0.0.0.0:50020 0.0.0.0: * LISTEN 1.000 93.692 11571/java
tcp 0 0 127.0.0.1:40485 0.0.0.0:* LISTEN 1.000 93.666 12039/java
tcp 0 0 0.0.0.0:44582 0.0.0.0:* LISTEN 1000 93013 11852/java
tcp 0 0 10.42.43.1:54310 0.0.0.0:* LISTEN 1000 92471 11384/java
tcp 0 0 10.42.43.1:54311 0.0.0.0:* LISTEN 1000 93290 11852/java
tcp 0 0 0.0.0.0:50090 0.0.0.0:* ASCOLTA 1000 93460 11758/java
tcp 0 0 0.0.0.0:34154 0.0.0.0:* ASCOLTA 1000 92179 11384/java
tcp 0 0 0.0.0.0:50060 0.0.0.0:* LISTEN 1000 94200 12039/java
tcp 0 0 0.0.0.0:50030 0.0.0.0:* LISTEN 1000 93550 11852/java

suo maestro IP binded alla porta 54310 e 54311 e non all'host locale (loopback).

La conf-site.xml è stato configurato correttamente:

<configuration> 
<property> 
<name>hadoop.tmp.dir</name> 
<value>/home/hduser/hadoop/tmp</value> 
</property> 
<property> 
<name>fs.default.name</name> 
<value>hdfs://master:54310</value> 
</property> 
</configuration> 

Perché è in attesa localhost essere rilegata a 54310 piuttosto che il hich maestro Ho configurato qui. Aiuto apprezzato Come risolvo questo ??

Acclamazioni

Answer 1

A quanto pare, qualcuno ha aggiunto il più vecchio Hadoop directory (1.0.3) bin nella variabile percorso prima avevo aggiunto la directory bin nuova Hadoop (1.0.4). E così ogni volta che eseguivo "hadoop" dalla CLI, eseguiva i binari del vecchio hadoop piuttosto che quello nuovo.

Soluzione:

• Rimuovere l'intero percorso bin del vecchio gruppo

• Shutdown Hadoop - terminale di uscita

• Entrata in nuova sessione di terminale

• nodo di avvio

• Provato hadoop dfs -ls / -> Funziona bene !!!! Buona lezione imparata.

Answer 2

Sembra che molte persone si sono imbattuti in questo problema.

Potrebbe non essere necessario modificare/etc/hosts e assicurarsi di poter accedere a master e slave gli uni dagli altri, e core-site.xml è lo stesso che punta al nodo master e al numero di porta corretti.

Quindi eseguire $ HADOOP/bin/stop-all.sh, $ HADOOP/bin/start-all.sh sul nodo principale SOLO. (Se eseguito su slave potrebbe portare a problemi). Usa JPS per verificare se tutti i servizi sono presenti come segue.

Sul nodo master: 4353 DataNode 4640 JobTracker 4498 SecondaryNameNode 4788 TaskTracker 4989 Jps 4216 NameNode

Sul nodo slave: 3143 Jps 2827 DataNode 2960 TaskTracker

Answer 3

Inoltre, controlla le regole del tuo firewall tra namenode e datanode