spark-streaming

5calore

1risposta

Mi piacerebbe confrontare due file consecutive i con i-1 di col2 (ordinate per col1). Se item_i della fila -esimo i e item_[i-1]_row sono differenti, vorrei incrementare il conteggio di item_[i-1] da

9calore

1risposta

Drop data frame spark dalla cache

Sto usando la scintilla 1.3.0 con python api. durante la trasformazione di enormi quantità di dati, inserisco nella cache molti DF per un'esecuzione più rapida; df1.cache() df2.cache() una volt

15calore

1risposta

Spark Kafka Direct DStream - Quanti esecutori e partizioni RDD nella modalità cluster-cluster se sono impostati i num-executor?

Sto cercando di utilizzare l'approccio di Spark Kafka Direct Stream. Semplifica il parallelismo creando il maggior numero di partizioni RDD come partizione topic di kafka, come indicato in questo doc.

12calore

2risposta

Apache Spark Streaming, Come gestire gli errori di dipendenza downstream

Sto cercando di capire come rendere un'app Spark Streaming più Fault Tolerant (in particolare quando si tenta di scrivere su dipendenze downstream), e non so quale sia il modo migliore è quello di ges

7calore

2risposta

Lettura da Cassandra con Spark Streaming

Ho un problema quando utilizzo lo sparkming per leggere da Cassandra. https://github.com/datastax/spark-cassandra-connector/blob/master/doc/8_streaming.md#reading-from-cassandra-from-the-streamingcont

24calore

1risposta

Spark Streaming: perché i costi di elaborazione interni sono così elevati da gestire lo stato dell'utente di pochi MB?

Sulla base dei nostri esperimenti, vediamo che i costi di elaborazione interna dello Spark Streaming di stato richiedono una quantità significativa di tempo quando lo stato diventa più di un milione d

6calore

1risposta

Errore "Connessione rifiutata" durante l'esecuzione di Spark Streaming sulla macchina locale

So che ci sono già molti thread su problemi di "spark streaming connection refused". Ma la maggior parte di questi sono in Linux o almeno puntano a HDFS. Sto facendo funzionare questo sul mio laptop l

24calore

3risposta

Come si interrompe un lavoro di streaming spark?

Ho un lavoro Spark Streaming che è stato eseguito continuamente. Come posso interrompere il lavoro con garbo? Ho letto le solite raccomandazioni di collegare un gancio di arresto nel monitoraggio del

8calore

1risposta

Spark Streaming avverti "replicato su 0 peer (s) invece di 1 peer"

Uso lo spark streaming per ricevere le twitts da Twitter. Ricevo molte avvertimento che dice: replicated to only 0 peer(s) instead of 1 peers che cosa è questo avvertimento per? mio codice è: SparkC

6calore

1risposta

Output Dstream di Apache Spark in Python

Sto provando le tecnologie che userò per costruire una pipeline di dati in tempo reale, e ho incontrato alcuni problemi nell'esportazione dei miei contenuti in un file. Ho installato un cluster kafka