2015-10-15 17 views
8

Sto usando Spark API (core Spark API, non lo streaming, SQL, ecc) vedo spesso questo tipo di errore nella scintilla scaricato registro: Spark ambiente: 1.3.1 filo-clientPerché spark executor riceve SIGTERM?

ERROR executor.CoarseGrainedExecutorBackend: RECEIVED SIGNAL 15: SIGTERM 
  1. Chi attiva SIGTERM. FILATO, Spark o io?
  2. Questo segnale interrompe Spark Executor? Altrimenti, wow influenzerà il programma spark.

Premere Ctrl + c, ma questo dovrebbe essere SIGINT. Se YARN uccide l'esecutore, quello sarebbe SIGKILL.

+0

La maggior parte delle volte è FILATO. Controlla i log del tuo gestore nodo per quel particolare momento. A volte a causa di OOM YARN uccide il contenitore. – Sohaib

risposta

2

Probabilmente troverete il motivo nei registri di filati. Se è stato attivato l'aggregazione di registro, è possibile digitare

yarn logs -applicationId [app_id]

e di ricerca per le eccezioni.