Perché spark executor riceve SIGTERM?

Question

Sto usando Spark API (core Spark API, non lo streaming, SQL, ecc) vedo spesso questo tipo di errore nella scintilla scaricato registro: Spark ambiente: 1.3.1 filo-client

ERROR executor.CoarseGrainedExecutorBackend: RECEIVED SIGNAL 15: SIGTERM 

1. Chi attiva SIGTERM. FILATO, Spark o io?
2. Questo segnale interrompe Spark Executor? Altrimenti, wow influenzerà il programma spark.

Premere Ctrl + c, ma questo dovrebbe essere SIGINT. Se YARN uccide l'esecutore, quello sarebbe SIGKILL.

Answer 1

Probabilmente troverete il motivo nei registri di filati. Se è stato attivato l'aggregazione di registro, è possibile digitare

yarn logs -applicationId [app_id]

e di ricerca per le eccezioni.