La creazione del collegamento simbolico dai registri lavori a $ {hadoop.tmp.dir} non è riuscita nell'impostazione cluster haodoop multinode

Question

Quando si esegue un esempio di parole semplici in hadoop con cluster a 3 nodi, ho ricevuto il seguente errore. Ho controllato tutti i permessi di scrittura/lettura delle cartelle necessarie. Questo errore non interrompe il lavoro di ridimensionamento della mappa ma tutto il carico di lavoro è andato a una macchina nel cluster, altre due macchine danno lo stesso errore sopra quando l'attività le arriva.

12/09/13 09:38:37 INFO mapred.JobClient: Task Id : attempt_201209121718_0006_m_000008_0,Status : FAILED 
java.lang.Throwable: Child Error 
    at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:271) 
Caused by: java.io.IOException: Creation of symlink from /hadoop/libexec/../logs/userlogs/job_201209121718_0006/attempt_201209121718_0006_m_000008_0 to /hadoop/hadoop-datastore 
/mapred/local/userlogs/job_201209121718_0006/attempt_201209121718_0006_m_000008_0 failed. 
    at org.apache.hadoop.mapred.TaskLog.createTaskAttemptLogDir(TaskLog.java:110) 
    at org.apache.hadoop.mapred.DefaultTaskController.createLogDir(DefaultTaskController.java:71) 
    at org.apache.hadoop.mapred.TaskRunner.prepareLogFiles(TaskRunner.java:316) 
    at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:228) 

12/09/13 09:38:37 WARN mapred.JobClient: Error reading task outputhttp://peter:50060/tasklog?plaintext=true&attemptid=attempt_201209121718_0006_m_000008_0&filter=stdout 
12/09/13 09:38:37 WARN mapred.JobClient: Error reading task outputhttp://peter:50060/tasklog?plaintext=true&attemptid=attempt_201209121718_0006_m_000008_0&filter=stderr 

Di cosa si tratta?

Answer 1

java.lang.Throwable: Errore Bambino

org.apache.hadoop.mapred.TaskRunner.run (TaskRunner.java:271)

Sembra che la memoria allocata per i compiti inseguitori è più di la memoria reale dei nodi. Controlla questo link Explanation