Sto eseguendo Spark 1.1.0, HDP 2.1, su un cluster kerberizzato. Posso eseguire spark-submit con successo utilizzando --master yarn-client e i risultati vengono scritti correttamente su HDFS, tuttavia il lavoro non viene visualizzato nella pagina Tutte le applicazioni di Hadoop. Voglio correre scintilla presentare utilizzando --master filo-cluster, ma io continuo a ottenere questo errore:Running spark-submit con --master yarn-cluster: emissione con spark-assembly
appDiagnostics: Application application_1417686359838_0012 failed 2 times due to AM Container
for appattempt_1417686359838_0012_000002 exited with exitCode: -1000 due to: File does not
exist: hdfs://<HOST>/user/<username>/.sparkStaging/application_<numbers>_<more numbers>/spark-assembly-1.1.0-hadoop2.4.0.jar
.Failing this attempt.. Failing the application.
ho provisioning il mio conto con l'accesso al cluster. Ho configurato yarn-site.xml. Ho cancellato .sparkStaging. Ho provato a includere --jars [percorso al mio gruppo scintilla in spark/lib]. Ho trovato this question che è molto simile, ma senza risposta. Non posso dire se si tratta di un problema 2.1, scintilla 1.1.0, cluster kerberizzato, configurazioni o cosa. Qualsiasi aiuto sarebbe molto apprezzato.
Correndo nello stesso problema. L'hai fatto funzionare? Gradirei qualsiasi suggerimento. Grazie. – DilTeam
Sembra che l'aggiornamento a una versione più recente di Spark abbia aiutato. Sto usando Spark 1.3 ora, ma stava funzionando bene con 1.2.1. Spero possa aiutare! – jackar