spark-streaming

15calore

2risposta

Spark Streaming: foreachRDD aggiorna il mio mongo RDD

Voglio creare un nuovo mongodb RDD ogni volta che entro foreachRDD. Tuttavia ho problemi di serializzazione: mydstream .foreachRDD(rdd => { val mongoClient = MongoClient("localhost", 27017)

12calore

1risposta

problemi di affidabilità con Checkpoint/WAL in Spark Streaming 1.6.0

Descrizione Abbiamo una scintilla Streaming 1.5.2 applicazione a Scala che legge gli eventi JSON da un Kinesis Stream, fa alcune trasformazioni/aggregazioni e scrive i risultati diversi prefissi S3. L

5calore

3risposta

Spark Streaming da Kafka ha errore numRecords non deve essere negativo

Il tipo di errore strano perché continuo a inviare dati a kafka e consumare messaggi da kafka e Exception in thread "main" java.lang.IllegalArgumentException: requirement failed: numRecords must not b

5calore

1risposta

Come abilitare lo streaming da Cassandra a Spark?

Ho il seguente lavoro scintilla: from __future__ import print_function import os import sys import time from random import random from operator import add from pyspark.streaming import Streamin

10calore

2risposta

Come evitare che una finestra di Spark Streaming blocchi un'altra finestra con entrambi eseguendo del codice Python nativo

Sto eseguendo Spark Streaming con due finestre diverse (sulla finestra per addestrare un modello con SKLearn e l'altro per prevedere i valori basati su quel modello) e mi chiedo come evitare una fines

10calore

2risposta

Come interrompere lo streaming spark quando la sorgente dati è esaurita

Ho un processo sparkming che legge da Kafka ogni 5 secondi, esegue una trasformazione sui dati in arrivo e quindi scrive sul file system. Questo non ha davvero bisogno di essere un processo di streami

7calore

2risposta

Il processo di streaming di scintilla non riesce dopo essere stato arrestato dal driver

Ho un lavoro spark in streaming che legge i dati da Kafka e fa alcune operazioni su di esso. Sto facendo il lavoro su un filato, Spark 1.4.1, che ha due nodi con 16 GB di RAM ciascuno e 16 core ciascu

5calore

1risposta

Spark streaming sul filo - Container in esecuzione oltre i limiti di memoria fisica

Sto correndo una scintilla in streaming applicazione su Filati, funziona bene per diversi giorni e dopo che ho riscontrato un problema, il messaggio di errore dalla lista filato di seguito: Applicatio

10calore

2risposta

Quanti RDD vengono generati da DStream per un intervallo di batch?

Un intervallo batch di dati genera uno e uno solo RDD in DStream indipendentemente da quanto è grande la quantità di dati?

14calore

2risposta

Spark: elaborazione di più argomenti kafka in parallelo

Sto usando spark 1.5.2. Ho bisogno di eseguire il lavoro spark in streaming con kafka come sorgente di streaming. Ho bisogno di leggere da più argomenti all'interno di kafka e elaborare ogni argomento