spark-streaming

8calore

3risposta

elaborazione del log in tempo reale utilizzando lo streaming spark di apache

Voglio creare un sistema in cui sia possibile leggere i registri in tempo reale e utilizzare la scintilla di apache per elaborarli. Sono confuso se dovrei usare qualcosa come kafka o flume per passare

7calore

1risposta

Impossibile inviare i lavori di suscitare grappolo (cluster modalità)

versione Spark 1.3.0 un errore durante l'invio di posti di lavoro a suscitare cluster modalità cluster ./spark-submit --class org.apache.spark.examples.streaming.JavaDirectKafkaWordCount --deploy-mode

17calore

3risposta

Spark con python: come risolvere Stage x contiene un'attività di dimensioni molto grandi (xxx KB). La dimensione massima dell'attività consigliata è 100 KB

Ho appena creato l'elenco python di range(1,100000). Uso SparkContext fatto le seguenti operazioni: a = sc.parallelize([i for i in range(1, 100000)]) b = sc.parallelize([i for i in range(1, 100000)])

9calore

6risposta

spark ssc.textFileStream non streamining alcun file dalla directory

Sto provando ad eseguire il codice seguente usando eclipse (con maven conf) con 2 worker e ognuno ha 2 core o anche provato con spark-submit. public class StreamingWorkCount implements Serializable {

15calore

5risposta

java.lang.NoClassDefFoundError: org/apache/scintilla/streaming/Twitter/TwitterUtils $ mentre TwitterPopularTags esecuzione

io sono un principiante in streaming Spark e Scala. Per un requisito del progetto stavo cercando di eseguire l'esempio di TwitterPopularTags presente in github. Dato che l'assemblaggio SBT non funzion

8calore

1risposta

Streaming di Spark con una tabella di ricerca dinamica

Attualmente sto cercando di utilizzare Spark Streaming per inserire le voci di logfile e per eseguire alcuni calcoli su di esse per ragioni statistiche. Ci sono set di dati memorizzati su HDFS, access

12calore

1risposta

Spark streaming di più fonti, ricaricare il dataframe

Ho un contesto di streaming di scintille che legge i dati degli eventi da kafka a intervalli di 10 secondi. Vorrei integrare questi dati degli eventi con i dati esistenti su una tabella postgres. poss

11calore

2risposta

Spark Streaming textFileStream che non supportano i caratteri jolly

ho messa a punto un semplice test per lo streaming di file di testo da S3 e preso a lavorare quando ho provato qualcosa di simile val input = ssc.textFileStream("s3n://mybucket/2015/04/03/") e nel s

10calore

2risposta

condizione nella mappa delle funzioni

c'è qualcosa in Scala come condition ? first_expression : second_expression; che posso usare all'interno della funzione mappa in scala? Voglio essere in grado di scrivere qualcosa del genere: val st

11calore

1risposta

Come calcolare le parole k principali

Vorrei calcolare le prime k parole in un'applicazione Spark-Streaming, con righe di testo raccolte in una finestra temporale. ho finito con il seguente codice: ... val window = stream.window(Seconds(