yarn

11calore

1risposta

Perché lavoro Spark esito negativo con "Codice di uscita: 52"

Ho avuto lavoro Spark in mancanza di una traccia come questa: ./containers/application_1455622885057_0016/container_1455622885057_0016_01_000001/stderr-Container id: container_1455622885057_0016_01_00

8calore

1risposta

Come inviare un lavoro spark su un nodo master remoto nella modalità client filato?

Ho bisogno di inviare app/lavori con scintilla su un cluster di accensione remoto. Al momento ho acceso la mia macchina e l'indirizzo IP del nodo principale come filato-client. Btw la mia macchina non

7calore

1risposta

In che modo YARN decide di creare quanti contenitori? (Perché la differenza tra S3a e HDFS?)

Sto utilizzando la versione corrente di Hadoop ed eseguo alcuni benchmark TestDFSIO (v. 1.8) per confrontare i casi in cui il file system predefinito è HDFS rispetto al file system predefinito è un se

8calore

3risposta

Spark Job in esecuzione su Yarn Cluster java.io.FileNotFoundException: Il file non esce, anche se il file termina sul nodo master

Sono abbastanza nuovo per Spark. Ho provato a cercare ma non ho potuto ottenere una soluzione adeguata. Ho installato hadoop 2.7.2 su due caselle (un nodo principale e l'altro nodo di lavoro). Ho inst

8calore

1risposta

YARN: Qual è la differenza tra numero di esecutori e core dell'esecutore in Spark?

Sto imparando Spark su AWS EMR. Nel processo sto cercando di capire la differenza tra il numero di esecutori (- num-executors) e executor core (--executor-core). Qualcuno può dirmi qui? Anche quando s

7calore

1risposta

Come interrompere con garbo un'applicazione Spark Streaming su YARN?

Sto eseguendo un'applicazione Spark Streaming su YARN in modalità cluster e sto cercando di implementare un arresto regolare in modo che, quando l'applicazione viene uccisa, finisca l'esecuzione del m

9calore

2risposta

Utilizzo memoria Python Spark/Yarn

Ho un'applicazione spark python che viene uccisa dal filo per il superamento dei limiti di memoria. Ho un passaggio che comporta il caricamento di alcune risorse un po 'pesanti (500+ MB), quindi sto u

7calore

3risposta

Come uscire scintilla presentare dopo la presentazione

Al momento della presentazione del programma in streaming utilizzando scintilla scintilla presentare (modalità FILATO) esso conservazione polling lo stato e mai uscire C'è qualche opzione nel scintill

7calore

1risposta

Spark on yarn mode end with "Exit status: -100 Diagnostics: Container rilasciato su un nodo * lost *"

Sto provando a caricare un database con dati da 1 TB per accendere AWS utilizzando l'ultimo EMR. E il tempo di esecuzione è così lungo che non termina nemmeno in 6 ore, ma dopo aver eseguito 6h30m, ri

5calore

1risposta

Come abilitare lo scheduler di Fair in Spark?

Mi piacerebbe capire l'interno della modalità di pianificazione FAIR di Spark. La cosa è che sembra non così bella come ci si aspetterebbe in base alla official Spark documentation: A partire dal Spar