apache-spark

15calore

1risposta

Spark Scala: Come trasformare una colonna in un DF

Ho un dataframe in Spark con molte colonne e un udf che ho definito. Voglio lo stesso dataframe indietro, tranne che con una colonna trasformata. Inoltre, il mio udf accetta una stringa e restituisce

5calore

2risposta

Scala Scala: DateDiff di due colonne per ora o minuto

Ho due colonne di data/ora in un dataframe che vorrei ottenere la differenza minima di, o in alternativa, la differenza di ora di. Attualmente sono in grado di ottenere la differenza il giorno, con ar

10calore

1risposta

Come leggere il contenuto di un file CSV all'interno del file zip utilizzando scintilla (python)

ho più file zip contenenti due tipi di file (A.csv & B.csv) /data/jan.zip - > contiene A.csv & B.csv /data/feb.zip -> contiene A.csv & B.csv voglio leggere il contenuto di tutti i file A.csv all'inter

6calore

3risposta

Creazione di un nuovo Spark DataFrame con un nuovo valore di colonna basato sulla colonna nel primo dataframe Java

Questo dovrebbe essere facile ma .... utilizzando Spark 1.6.1 .... Ho DataFrame # 1 con le colonne A, B, C . con valori: A B C 1 2 A 2 2 A 3 2 B 4 2 C ho quindi creare un nuovo dataframe con una

5calore

3risposta

SPARK dataframe: Rimuovere il valore MAX in un gruppo

miei dati è come: id | val ---------------- a1 | 10 a1 | 20 a2 | 5 a2 | 7 a2 | 2 sto cercando di eliminare la riga che ha MAX (val) nel gruppo se il gruppo I a "id". risultato dovrebbe essere

8calore

2risposta

Si tratta di un bug del flusso di scintilla o perdita di memoria?

Invio il mio codice a un cluster spark-alone. Il comando di invio è il seguente: nohup ./bin/spark-submit \ --master spark://ES01:7077 \ --executor-memory 4G \ --num-executors 1 \ --total-executor

7calore

3risposta

Come uscire scintilla presentare dopo la presentazione

Al momento della presentazione del programma in streaming utilizzando scintilla scintilla presentare (modalità FILATO) esso conservazione polling lo stato e mai uscire C'è qualche opzione nel scintill

5calore

1risposta

Come abilitare lo scheduler di Fair in Spark?

Mi piacerebbe capire l'interno della modalità di pianificazione FAIR di Spark. La cosa è che sembra non così bella come ci si aspetterebbe in base alla official Spark documentation: A partire dal Spar

7calore

1risposta

Come utilizzare la funzione di invio programmatico della scintilla

C'è una funzionalità piuttosto recente (primavera 2015) che sembra destinata a consentire l'invio programmato di una scintilla. Ecco la JIRA https://issues.apache.org/jira/browse/SPARK-4924 Tuttavia,

14calore

2risposta

Spark gruppo pieno di timeout battito cardiaco, esecutori di uscire da soli

gruppo Spark mio Apache è in esecuzione un'applicazione che mi sta dando un sacco di timeout Esecutore: 10:23:30,761 ERROR ~ Lost executor 5 on slave2.cluster: Executor heartbeat timed out after 17700