spark-streaming

5calore

1risposta

Come trasportare flussi di dati su più intervalli batch in Spark Streaming

Sto utilizzando Apache Spark Streaming 1.6.1 per scrivere un'applicazione Java che unisce due flussi di dati Key/Value e scrive l'output su HDFS. I due flussi di dati contengono stringhe K/V e vengono

5calore

1risposta

È possibile ottenere uno specifico offset di messaggio in Kafka + SparkStreaming?

Sto cercando di ottenere e memorizzare l'offset per un messaggio specifico in Kafka utilizzando Spark Direct Stream. Guardare la documentazione di Spark è semplice per ottenere gli offset di gamma per

6calore

1risposta

Spark Streaming: come aggiornare periodicamente il RDD memorizzato nella cache?

Nella mia applicazione di streaming Spark, voglio mappare un valore basato su un dizionario recuperato da un backend (ElasticSearch). Voglio periodicamente aggiornare periodicamente il dizionario, nel

8calore

3risposta

Spark Job in esecuzione su Yarn Cluster java.io.FileNotFoundException: Il file non esce, anche se il file termina sul nodo master

Sono abbastanza nuovo per Spark. Ho provato a cercare ma non ho potuto ottenere una soluzione adeguata. Ho installato hadoop 2.7.2 su due caselle (un nodo principale e l'altro nodo di lavoro). Ho inst

5calore

2risposta

get topic from kafka message in spark

Nel nostro lavoro spark-streaming leggiamo messaggi in streaming da kafka. Per questo, utilizziamo l'API KafkaUtils.createDirectStream che restituisce JavaPairInputDStreamfrom. I messaggi vengono lett

7calore

2risposta

lettura dei dati da Azure Blob con Spark

Sto avendo problema nella lettura dei dati dal blob azzurre tramite scintilla in streaming codice JavaDStream<String> lines = ssc.textFileStream("hdfs://ip:8020/directory"); come sopra funziona per

7calore

1risposta

Come interrompere con garbo un'applicazione Spark Streaming su YARN?

Sto eseguendo un'applicazione Spark Streaming su YARN in modalità cluster e sto cercando di implementare un arresto regolare in modo che, quando l'applicazione viene uccisa, finisca l'esecuzione del m

6calore

1risposta

Spark Scala ottenere i dati da rdd.foreachPartition

ho un po 'codice come questo: println("\nBEGIN Last Revs Class: "+ distinctFileGidsRDD.getClass) val lastRevs = distinctFileGidsRDD. foreachPartition(iter => { SetupJDBC(jdbcDriver

21calore

1risposta

build.sbt: come aggiungere dipendenze scintilla

Ciao Sto cercando di scaricare spark-core, spark-streaming, twitter4j, e spark-streaming-twitter nel file build.sbt di seguito: name := "hello" version := "1.0" scalaVersion := "2.11.8" libraryD

5calore

1risposta

Spark Streaming - elaborazione file di dati binari

Sto usando pyspark 1.6.0. Ho il codice pyspark esistente per leggere il file di dati binari dal bucket AWS S3. L'altro codice Spark/Python analizzerà i bit nei dati per convertirli in int, string, boo