Recuperare Hadoop NameNode mancata

Question

Scenario 1:

Il fsimage HDFS e editlog è scritto in più luoghi, tra cui un montaggio NFS.

A) NameNode Daemon Crash: Soluzione: Basta riavviare il processo di NameNode

B) Host è giù in cui il nome del nodo è in esecuzione.

Soluzione:

1. Avviare il NameNode in un host diverso con un dfs.name.dir vuoto
2. Puntare il dfs.name.dir al NFS dove abbiamo copia dei metadati. O
opzione
3. Usa --importCheckpoint mentre a partire NameNode dopo aver indicato il punto di controllo fs.checkpoint.dir directory da NameNode secondaria
4. Modificare il fs.default.name al nome host di backup URI e riavviare il cluster con tutto lo schiavo File IP in slave.

Nota: potremmo perdere la modifica che potrebbe essere avvenuta dopo l'ultimo checkpoint.

Scenario 2:

Il fsimage HDFS è scritto in una singola directory.

A) NameNode Daemon Crash: Soluzione: Unknown

B) Host è il basso in cui il nome del nodo è in esecuzione.

Soluzione:

1. Creare una directory vuota che punta alla dfs.name.dir alla directory in (1)
2. Avviare il NameNode con -importCheckpoint dopo aver indicato il punto di controllo fs.checkpoint.dir directory da Secondaria NameNode
3. Modificare fs.default.name nell'URI del nome host di backup e riavviare il cluster con tutti gli IP slave nel file slave.

In questo modo perderemmo di nuovo i file modificati dopo l'ultimo checkpoint.

Per favore fatemi sapere se è così che possiamo recuperare manualmente il cluster.

Answer 1

Nella produzione, è necessario eseguire i NameNode in modalità HA con uno quorum of journalling nodes o uno HA-NFS storage condiviso per i file di transazione del registro di modifica. Se non si desidera o si utilizza HA, è necessario eseguire NN con almeno due directory di archiviazione per entrambe le immagini e i registri di modifica, preferibilmente uno come punto di montaggio NFS montato su supporto per la persistenza automatica off-machine del sistema dei nomi .

Se si dispone di una sola directory di archiviazione e nessuna configurazione HA, il migliore che si possa ottenere è un checkpoint di periodo passato - se si perdono tutti i file. Se non hai perso i file, puoi provare l'opzione hadoop namenode -recover come illustrato da questo post per poter recuperare l'immagine più alcune (o tutte) le modifiche.