Come cambio lo spark.ui.port?

Question

Sto utilizzando spark-submit e ho provato a farlo nel file jar con .setExecutorEnv("spark.ui.port", "4050") nel contesto spark, ma ha comunque cercato di colpire 4040. Ho quindi provato a inserire un --conf spark.ui.port=4050 dopo spark-submit e prima di --class CLASSNAME, ma non lavoro sia, questa volta dicendo "Errore: opzione non riconosciuta '--conf'". Come faccio a evitare questo? L'errore reale che sto incontrando è che c'è un server spark attivo che altri stanno usando che impedisce a questo spark-submit di avviare il server jetty. Non sta colpendo altre porte, quindi sto cercando di forzarlo a farlo.

Answer 1

--conf spark.ui.port=4050 è una funzionalità Spark 1.1. Puoi impostarlo nei tuoi codici, ad esempio:

val conf = new SparkConf().setAppName(s"SimpleApp").set("spark.ui.port", "4050") 
val sc = new SparkContext(conf)