spark-streaming

10calore

2risposta

Spark Streaming: Impossibile calcolare spaccatura, il blocco non trovato

Sto cercando di utilizzare Spark streaming con Kafka (versione 1.1.0), ma il lavoro Spark continua a bloccarsi a causa di questo errore: 14/11/21 12:39:23 ERROR TaskSetManager: Task 3967.0:0 failed 4

7calore

2risposta

Impossibile analizzare URL Master: 'scintilla: http: // localhost: 18080'

Quando sto cercando di eseguire il mio codice che genera questa Exception: Exception in thread "main" org.apache.spark.SparkException: Could not parse Master URL:spark:http://localhost:18080 Questo

5calore

1risposta

apache spark streaming - kafka - lettura dei vecchi messaggi

Sto provando a leggere i vecchi messaggi da Kafka con lo streaming di scintille. Tuttavia, sono in grado di recuperare i messaggi solo quando vengono inviati in tempo reale (ad esempio, se compongo nu

8calore

2risposta

Parsing json in spark-streaming

Sono abbastanza nuovo da accendere e sto cercando di ricevere un DStream strutturato come un json da un argomento di kafka e voglio analizzare il contenuto di ogni json. JSON che ricevo è qualcosa di

6calore

2risposta

Per ciascun RDD in un DStream, come posso convertirlo in un array o qualche altro tipico tipo di dati Java?

Vorrei convertire un DStream in un array, elenco, ecc. Quindi posso quindi tradurlo in json e servirlo su un endpoint. Sto usando la scintilla di apache, iniettando dati di Twitter. Come faccio a pref

5calore

1risposta

Spark Streaming UpdateStateByKey

Sto facendo funzionare una scintilla in streaming 24x7 e utilizzando updateStateByKey funzione per salvare i dati storici calcolati come nel caso di NetworkWordCount Esempio .. sto cercato di flusso d

7calore

2risposta

Spark Streaming groupByKey e updateStateByKey Implementazione

Sto provando a eseguire computazioni Spark Streaming stateful su (falsi) registri del server Web Apache letti da Kafka. L'obiettivo è quello di "sincronizzare" il traffico web in modo simile a this bl

6calore

1risposta

Funzionamento della finestra Streaming Spark

Quanto segue è un codice semplice per ottenere il conteggio delle parole su una dimensione della finestra di 30 secondi e dimensioni della diapositiva di 10 secondi. import org.apache.spark.SparkConf

5calore

2risposta

Spark Shell non riesce a trovare la classe Hbase

Sto provando a caricare i dati da HDFS in una tabella Hbase utilizzando Spark Streaming. Sto posizionando i dati in una directory run HDFS e li sto leggendo usando la funzione textFileStream. Poiché l

5calore

2risposta

Come utilizzare infiniti flussi Scala come origine in Spark Streaming?

Supponiamo di voler essenzialmente Stream.from(0) come InputDStream. Come andrei su questo? L'unico modo che vedo è utilizzare StreamingContext#queueStream, ma dovrei accodare elementi da un'altra dis