problema Esecuzione Spark lavoro su cluster Yarn

voglio correre la mia scintilla di lavoro nel Hadoop FILATO modalità cluster, e sto usando il seguente comando:problema Esecuzione Spark lavoro su cluster Yarn

spark-submit --master yarn-cluster 
      --driver-memory 1g 
      --executor-memory 1g 
      --executor-cores 1 
      --class com.dc.analysis.jobs.AggregationJob 
       sparkanalitic.jar param1 param2 param3

sto ottenendo errore qui sotto, gentilmente suggerire che cosa sta succedendo sbagliato, il comando è corretto o meno. Sto usando CDH 5.3.1.

Diagnostics: Application application_1424284032717_0066 failed 2 times due 
to AM Container for appattempt_1424284032717_0066_000002 exited with 
exitCode: 15 due to: Exception from container-launch. 

Container id: container_1424284032717_0066_02_000001 
Exit code: 15 
Stack trace: ExitCodeException exitCode=15: 
    at org.apache.hadoop.util.Shell.runCommand(Shell.java:538) 
    at org.apache.hadoop.util.Shell.run(Shell.java:455) 
    at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:702) 
    at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:197) 
    at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:299) 
    at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:81) 
    at java.util.concurrent.FutureTask.run(FutureTask.java:262) 
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) 
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) 
    at java.lang.Thread.run(Thread.java:745) 

Container exited with a non-zero exit code 15 
.Failing this attempt.. Failing the application. 
    ApplicationMaster host: N/A 
    ApplicationMaster RPC port: -1 
    queue: root.hdfs 
    start time: 1424699723648 
    final status: FAILED 
    tracking URL: http://myhostname:8088/cluster/app/application_1424284032717_0066 
    user: hdfs 

2015-02-23 19:26:04 DEBUG Client - stopping client from cache: [email protected] 
2015-02-23 19:26:04 DEBUG Utils - Shutdown hook called 
2015-02-23 19:26:05 DEBUG Utils - Shutdown hook called

Qualsiasi aiuto sarebbe molto apprezzato.

fonte

2015-02-24 Sachin Singh

Potete incollare il vostro spark-defults.conf? –

@ user392589 Hai trovato una soluzione per questo? –

Il comando sembra corretto.

Quello che ho trovato è che il "codice di uscita 15" indica normalmente un'eccezione TableNotFound. Questo di solito significa che c'è un errore nel codice che stai inviando.

È possibile controllare questo visitando l'URL di tracciamento.

fonte

2015-04-28 17:58:36 amd

Può significare un sacco di cose, per noi, otteniamo il messaggio di errore simile a causa della versione di classe Java non supportata, e abbiamo risolto il problema eliminando la classe Java di riferimento nel nostro progetto.

Utilizzare questo comando per visualizzare il messaggio di errore dettagliato:

yarn logs -applicationId application_1424284032717_0066

fonte

2015-05-03 23:38:41

Per il parametro delle nuove uscite si chiama '-applicationId'. – Im0rtality

Per me uscita questione codice risolto mettendo hive-site.xml in spark/conf directory.

fonte

2015-10-10 11:57:13

È necessario rimuovere ".setMaster (" locale ")" nel codice.

fonte

2015-12-26 14:26:11

perché" locale "- se l'utente intende eseguire il lavoro in modalità cluster? –

Rimuovere la riga "spark.master":"local[*] "nel file di configurazione scintilla se si sta eseguendo i lavori di scintilla in cluster.

corsa Supponiamo che sul PC locale, includerlo.

Mani

fonte

2018-03-04 08:31:51

problema Esecuzione Spark lavoro su cluster Yarn

risposta

Problemi correlati