Spark: configurazione driver/operatore. Il driver funziona sul nodo Master?

Question

Sto iniziando un cluster scintilla AWS, con un master e 60 core:

Ecco il comando per avviare, fondamentalmente 2 esecutori per core, totalmente 120 esecutori:

spark-submit --deploy-mode cluster --master yarn-cluster --driver-memory 180g --driver-cores 26 --executor-memory 90g --executor-cores 13 --num-executors 120 

Tuttavia, nel job Tracker, c'è solo 119 esecutori:

Ho pensato che ci dovrebbero essere 1 driver + 120 esecutori dei lavoratori. Tuttavia, ciò che ho visto sono stati 119 esecutori, tra cui 1 autista + 118 esecutori esecutivi.

Significa che il mio nodo Principale non è stato utilizzato? Il driver è in esecuzione sul nodo principale o sul nodo principale? Posso far funzionare il driver sul nodo Master e lasciare che i 60 core ospitino 120 esecutori funzionanti?

Grazie!

Answer 1

Quando si esegue la modalità cluster-thread, il driver dell'applicazione viene eseguito all'interno del cluster, anziché sulla macchina su cui è stato eseguito spark submit. Ciò significa che prenderà il numero di core del driver sul cluster, risultando nei 119 esecutori che vedete.

Se si desidera eseguire il driver al di fuori del cluster, provare la modalità client filato.

Maggiori informazioni su esecuzione sul filo può essere trovato qui: http://spark.apache.org/docs/latest/running-on-yarn.html

Answer 2

In filo-cluster modalità, il driver viene eseguito nel Master Application. Ciò significa che lo stesso processo è responsabile sia della guida dell'applicazione che della richiesta di risorse da parte di YARN e questo processo viene eseguito all'interno di un contenitore di RACCOLTA. Il client che avvia l'app non ha bisogno di rimanere in giro per tutta la sua durata.

In filato-client modo, conducente Spark per eseguire all'interno del processo client che avvia l'applicazione Spark.

Dai un'occhiata alla cloudera blog per maggiori dettagli.