spark-streaming

9calore

2risposta

Aggiunta vasi personalizzati per pyspark in notebook jupyter

Sto usando il Jupyter notebook con Pyspark la seguente immagine finestra mobile con: Jupyter all-spark-notebook Ora vorrei scrivere un'applicazione di streaming pyspark che consuma i messaggi di Kafka

7calore

2risposta

SBT non può importare Kafka classi encoder/decoder

progetto di installazione: 1 produttori - serialises oggetti & invia byte alla Kafka 1 scintilla dei consumatori - dovrebbero utilizzare DefaultDecoder nel pacchetto kafka.serializer di consumare byte

5calore

1risposta

Qual è il limite per stimolare lo streaming in termini di quantità di dati?

Ho decine di milioni di righe di dati. È possibile analizzare tutto questo in una settimana o un giorno utilizzando lo streaming spark? Qual è il limite per stimolare lo streaming in termini di quanti

5calore

1risposta

Streaming Spark: sicurezza dell'applicazione

Ho un'applicazione Spark Streaming basata su Spark Streaming che viene eseguita ogni 5 minuti. Guardando le statistiche dopo 5 giorni di corsa, ci sono alcune osservazioni: Il Processing time aumenta

5calore

1risposta

come eseguire lo streaming dei dati da una tabella cassandra?

Desidero trasmettere i dati da una tabella cassandra che viene aggiornata in tempo reale. Sì, è un database ma esiste un modo per farlo? In tal caso, mantenendo un offset o quali query CQL posso usare

14calore

2risposta

Spark Streaming mapWithState sembra ricostruire periodicamente lo stato completo

Sto lavorando a un progetto di streaming Scala (2.11)/Spark (1.6.1) e utilizzando mapWithState() per tenere traccia dei dati visti dai batch precedenti. Lo stato è distribuito in 20 partizioni su più

5calore

1risposta

java.lang.UnsupportedOperationException: 'La scrittura su una tabella Cassandra non vuota non è consentita

Ho uno scenario in cui riceverò i dati di streaming che vengono elaborati dal mio programma di streaming spark e l'output per ciascun intervallo viene aggiunto al mio tavolo cassandra esistente. Attua

6calore

1risposta

Come leggo i file parquet usando `ssc.fileStream()`, e qual è la natura dei tipi passati a `ssc.fileStream()`

La mia comprensione del metodo fileStream() di Spark è che ci vogliono tre tipi come parametri - K ey, V alore e F ormat. Nel caso di file di testo, i tipi appropriati sono LongWritable, Text e TextIn

14calore

1risposta

Qual è il significato della funzione DStream.foreachRDD?

Nello sparkming, ogni intervallo batch di dati genera sempre un solo RDD, perché si utilizza foreachRDD() per foreach RDD? RDD è solo uno, non è necessario foreach. Nel mio test, non ho mai visto RDD

6calore

1risposta

errore durante la creazione di uno StreamingContext

apro il guscio scintilla spark-shell --packages org.apache.spark:spark-streaming-kafka_2.10:1.6.0 Poi voglio creare un contesto di streaming import org.apache.spark._ import org.apache.spark.stream