Diciamo che ho 2 o più esecutori in un'applicazione Spark Streaming.Come vengono assegnati i lavori agli esecutori in Spark Streaming?
Ho impostato il tempo di lotto di 10 secondi, quindi un processo viene avviato ogni 10 secondi leggendo l'input dal mio HDFS.
Se ogni lavoro dura per più di 10 secondi, il nuovo lavoro avviato viene assegnato a un esecutore libero giusto?
Anche se il precedente non è stato completato?
So che sembra una risposta ovvia ma non ho trovato nulla sulla pianificazione dei lavori nel sito Web o sulla carta correlata a Spark Streaming.
Se si conoscono alcuni collegamenti in cui vengono spiegate tutte queste cose, mi piacerebbe molto vederli.
Grazie.
Stiamo lavorando a un progetto correlato a queste cose, quindi esaminerò con piacere le diapositive per comprenderne di più. Grazie. – gprivitera