È consentito il multithreading su Spark/YARN?

Question

Poiché YARN è responsabile della gestione delle risorse delle applicazioni Hadoop, come core e processi, un'applicazione di YARN è autorizzata a creare nuovi thread?

Mi riferisco principalmente alle applicazioni Spark in esecuzione sul gestore risorse YARN. So che se crei una nuova discussione non vengono lanciati errori, ma è sicuro?

Answer 1

Rispondo a me stesso. YARN controlla risorse come memoria e core, non thread. I core sono controllati modificando i parametri specifici del sistema operativo durante la creazione di contenitori (affinità di processo). Quindi, la JVM è in esecuzione utilizzando un numero specifico di core e puoi creare tutti i thread che vuoi.