errore durante la creazione di uno StreamingContext

Question

apro il guscio scintilla

spark-shell --packages org.apache.spark:spark-streaming-kafka_2.10:1.6.0 

Poi voglio creare un contesto di streaming

import org.apache.spark._ 
import org.apache.spark.streaming._ 


val conf = new SparkConf().setMaster("local[2]").setAppName("NetworkWordCount").set("spark.driver.allowMultipleContexts", "true") 
val ssc = new StreamingContext(conf, Seconds(1)) 

mi imbatto in un eccezione:

org.apache.spark.SparkException: Only one SparkContext may be running in this JVM (see SPARK-2243). To ignore this error, set spark.driver.allowMultipleContexts = true. The currently running SparkContext was created at: 

Answer 1

Quando si apri la scintilla, c'è già un contesto di streaming creato. Si chiama sc, il che significa che non è necessario creare un oggetto configure. Basta usare l'oggetto sc esistente.

val ssc = new StreamingContext(sc,Seconds(1)) 

invece di var useremo val