Numero di CPU per attività in Scintilla

Question

Non capisco il parametro spark.task.cpus. Mi sembra che un "compito" corrisponda a un "filo" o un "processo", se lo si vuole, all'interno dell'esecutore. Supponiamo che mi ero prefissato "spark.task.cpus" per 2.

1. Come può un filo utilizzare contemporaneamente due CPU? Non potrebbe richiedere blocchi e causare problemi di sincronizzazione?

2. Sto osservando la funzione launchTask() in deploy/executor/Executor.scala e non vedo alcuna nozione di "numero di cpu per attività" qui. Quindi, dove/in che modo Spark alla fine assegna più di una CPU a un'attività in modalità standalone?

Answer 1

Al meglio della mia conoscenza spark.task.cpus controlla il parallelismo dei compiti in voi cluster nel caso in cui sono noti alcuni compiti particolari di avere la propria parallelismo (personalizzato) interna.

Più in dettaglio: Noi sappiamo che spark.cores.max definisce il numero di thread (aka core) le vostre esigenze applicative. Se si lascia spark.task.cpus = 1 allora si avrà # spark.cores.max numero di attività Spark simultanee in esecuzione nello stesso momento.

Sarà solo voler cambiare spark.task.cpus se si sa che le attività sono essi stessi parallelizzato (forse ciascuno di vostro compito genera due thread, interagisce con strumenti esterni, ecc) Impostando spark.task.cpus di conseguenza, è diventato un buon "cittadino" . Ora se hai spark.cores.max = 10 e spark.task.cpus = 2 Spark creerà solo 10/2 = 5 attività simultanee. Dato che le tue attività richiedono (diciamo) 2 thread internamente, il numero totale di thread in esecuzione non sarà mai superiore a 10. Ciò significa che non andrai mai oltre il tuo contratto iniziale (definito da spark.cores.max).