rdd

7calore

1risposta

Potete vedere l'attuazione qui: https://github.com/apache/spark/blob/ffa05c84fe75663fc33f3d954d1cb1e084ab3280/python/pyspark/rdd.py#L804 Come lo fa diverso dal 'normale' la funzione reduce? Che cosa s

21calore

2risposta

Spark potrebbe sparpagliare lo stesso RDD quando si rende conto che non verrà più utilizzato?

Possiamo mantenere un RDD in memoria e/o disco quando vogliamo usarlo più di una volta. Tuttavia, dobbiamo disattivarlo da noi stessi in seguito, oppure Spark fa una sorta di garbage collection e smas

6calore

1risposta

Perché Spark non consente la combinazione del lato mappa con i tasti dell'array?

Sto usando Spark 1.3.1 e sono curioso del perché Spark non permetta l'utilizzo di chiavi di array sulla combinazione lato mappa. Pezzo di combineByKey function: if (keyClass.isArray) { if (mapSid

12calore

3risposta

Come faccio a convertire un RDD con una colonna sparsevector ad un dataframe con una colonna come vettore

Ho un RDD con una tupla di valori (String, sparsevector) e voglio creare un dataframe utilizzando il RDD. Per ottenere un (etichetta: stringa, caratteristiche: vettore) DataFrame che è lo schema richi

8calore

2risposta

Iterate attraverso un RDD Java per riga

Vorrei ripetere un RDD di stringhe e "fare qualcosa" su ogni stringa. L'output dovrebbe essere double[][]. Ecco un esempio con un ciclo for. Capisco che ho bisogno di utilizzare (credo) la funzione fo

5calore

1risposta

Treat Spark RDD come plain Seq

Ho un'applicazione CLI per la trasformazione di JSON. La maggior parte del codice è map ping, flatMap ping e attraversa con for elenchi di valori J. Ora voglio portare questa applicazione a Spark, ma

5calore

1risposta

Conversione da RDD a LabeledPoint

Se si dispone di un RDD con circa 500 colonne e 200 milioni di righe e RDD.columns.indexOf("target", 0) mostra Int = 77 che indica che la variabile dipendente di destinazione si trova alla colonna num

7calore

2risposta

numeri casuali in PySpark

Iniziamo con una semplice funzione che restituisce sempre un intero casuale: import numpy as np def f(x): return np.random.randint(1000) e RDD riempito con zeri e mappati usando f: rdd = sc.p

5calore

1risposta

un elenco come chiave per reduceByKey di PySpark

Sto tentando di chiamare la funzione reduceByKey di pyspark sui dati del formato (([a,b,c], 1), ([a,b,c], 1), ([a,d,b,e], 1), ... Sembra pyspark non accetterà un array come la chiave nella chiave norm

12calore

3risposta

PySpark DataFrames - modo per enumerare senza convertire in Panda?

Ho un grandissimo pyspark.sql.dataframe.DataFrame denominato df. Ho bisogno di un modo per enumerare i record, quindi, essere in grado di accedere al record con un certo indice. (O gruppo selezionato