Scrittura HDFS potrebbe essere replicata solo ai 0 nodi invece di minReplication (= 1)

Question

Ho 3 nodi di dati in esecuzione, durante l'esecuzione di un lavoro che sto ottenendo il seguente dato sotto l'errore,

java.io. IOException: File/utente/ashsshar/olhcache/loaderMap9b663bd9 possono essere replicati solo su 0 nodi invece di minReplication (= 1). Ci sono 3 datanode in esecuzione e 3 nodi (s) sono esclusi in questa operazione. a org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget (BlockManager.java:1325)

Questo errore viene soprattutto quando i nostri casi DataNode sono a corto di spazio o se DataNodes non sono in esecuzione. Ho provato a riavviare i DataNode ma ho ancora ottenuto lo stesso errore.

dfsadmin -reports nei nodi del cluster mostra chiaramente che è disponibile molto spazio.

Non sono sicuro del motivo per cui questo sta accadendo.

Answer 1

1.Stop tutti i demoni Hadoop

for x in `cd /etc/init.d ; ls hadoop*` ; do sudo service $x stop ; done 

2.Remove tutti i file da /var/lib/hadoop-hdfs/cache/hdfs/dfs/name

Eg: devan@Devan-PC:~$ sudo rm -r /var/lib/hadoop-hdfs/cache/ 

3.Format NameNode

sudo -u hdfs hdfs namenode -format 

4.Start tutti i demoni Hadoop

for x in `cd /etc/init.d ; ls hadoop*` ; do sudo service $x start ; done 

Stop All Hadoop Service

Answer 2

Cosa faccio di solito quando questo accade è che vado a tmp/Hadoop-username/DFS/ directory e cancellare manualmente i dati e nome cartelle (supponendo che si esegue in ambiente Linux).

quindi formattare la DFS chiamando bin/Hadoop NameNode -format (fare in modo che si risponde con un capitale Y quando viene chiesto se si desidera formattare, se non si è chiesto, poi ri-run il comando di nuovo).

Si può quindi iniziare di nuovo Hadoop chiamando bin/start-all.sh

Answer 3

1. Controllare se il vostro DataNode è in esecuzione, utilizzare il comando: jps.
2. Se è non in esecuzione attendere qualche tempo e riprovare.
3. Se è in esecuzione, penso che sia necessario riformattare il DataNode.

Answer 4

Ho avuto lo stesso problema, ho girato molto poco spazio sul disco. Liberare il disco lo ha risolto.

Answer 5

Risoluzione molto semplice per lo stesso problema su Windows 8.1
Ho usato Windows 8.1 OS e Hadoop 2.7.2, Ho fatto le seguenti cose per ovviare a questo problema.

1. quando ho iniziato il HDFS NameNode -format, ho notato che c'è un blocco nella mia directory. si prega di fare riferimento alla figura sottostante.
   
2. Una volta eliminata la cartella completa come mostrato di seguito, e di nuovo ho eseguito il formato di namenode hdfs .
   
3. Dopo aver eseguito due passaggi precedenti, ho potuto mettere con successo i miei file necessari nel sistema di HDFS. Ho usato il comando start-all.cmd per iniziare il filato e il namenode.

Answer 6

Ho avuto questo problema ed ho risolto come muggito:

1. Trova in cui vengono salvati i DataNode e NameNode metadati/dati; se non riesci a trovarlo, basta fare questo comando su mac per trovarlo (ci si trova in una cartella chiamata "tmp")

   trovare/usr/local/Cellar/-name "tmp";

   comando find è come questo: trovare < "directory"> -name < "alcun indizio stringa per quella directory o file">

2. Dopo aver trovato il file, cd in esso. /usr/local/Cantina // Hadoop/HDFS/tmp

   poi cd DFS

   quindi utilizzando il comando -ls vedere che i dati e le directory di nomi si trovano lì.

3. Utilizzando rimuovere comando, rimuoverli entrambi:

   dati rm -r. e rm -R nome

4. Vai alla cartella bin e alla fine tutto se già non hanno fatto:

   sbin/end-dfs.sh

5. Uscire dal server o localhost .

6. Accedere al server di nuovo: ssh < "nome del server">

7. avviare i DFS:

   sbin/start-DFS.sh

8. Formato NameNode per essere sicuri:

   bin/HDFS NameNode -format

9. ora è possibile utilizzare i comandi HDFS per caricare i dati in DFS ed eseguire lavori di MapReduce.