Fallimento del lavoro di mappatura quando inviato da una macchina Windows

Question

Sto tentando di inviare un processo M/R da Windows Machine a hadoop cluster su linux. Sto usando hadoop 2.2.0 (HDP 2.0).

sto ottenendo seguente errore:

2014-06-06 08:32:37,684 [main] INFO Job.monitorAndPrintJob - Job job_1399458460502_0053 running in uber mode : false 
2014-06-06 08:32:37,704 [main] INFO Job.monitorAndPrintJob - map 0% reduce 0% 
2014-06-06 08:32:37,717 [main] INFO Job.monitorAndPrintJob - Job job_1399458460502_0053 failed with state FAILED due to: Application application_1399458460502_0053 failed 2 times due to AM Container for appattempt_1399458460502_0053_000002 exited with exitCode: 1 due to: Exception from container-launch: 
org.apache.hadoop.util.Shell$ExitCodeException: /bin/bash: line 0: fg: no job control 

    at org.apache.hadoop.util.Shell.runCommand(Shell.java:464) 
    at org.apache.hadoop.util.Shell.run(Shell.java:379) 
    at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:589) 
    at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:195) 
    at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:283) 
    at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:79) 
    at java.util.concurrent.FutureTask.run(FutureTask.java:262) 
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) 
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) 
    at java.lang.Thread.run(Thread.java:744) 


.Failing this attempt.. Failing the application. 

java.io.IOException: Job failed! 

ho usando configurazione assunta dal cluster quindi non dovrebbero esserci corrispondenza esatta.

Qualsiasi suggerimento o indizio, cosa potrebbe essere sbagliato?

Thx

Answer 1

Ho trovato la soluzione. E 'ufficialmente segnalato bug

https://issues.apache.org/jira/browse/MAPREDUCE-4052

con soluzione indicata dalla discussione. La soluzione funziona per me. Sembra che quegli errori con qualcosa risolto su un client siano sempre verdi.

Answer 2

Ho avuto un problema simile. Ora funziona per me. Controllare sul link qui sotto

Error while running Mapreduce(yarn)from windows eclipse

Answer 3

conf.set("mapreduce.app-submission.cross-platform", "true");