rdd

6calore

1risposta

Scala Spark: come creare un RDD da un elenco di stringhe e convertirlo in DataFrame

Voglio creare un DataFrame da un elenco di stringhe che potrebbe corrispondere allo schema esistente. Ecco il mio codice. val rowValues = List("ann", "f", "90", "world", "23456") // fails val row

7calore

1risposta

Come convertire spark DataFrame in RDD mllib LabeledPoints?

Ho provato ad applicare PCA ai miei dati e quindi applicare RandomForest ai dati trasformati. Tuttavia, PCA.transform (data) mi ha fornito un DataFrame ma ho bisogno di un mllib LabeledPoints per alim

7calore

2risposta

pyspark dati di partioning utilizzando partizione

Capisco che i miei dati siano le partizioni delle funzioni partitionBy. Se utilizzo rdd.partitionBy(100), partirà i miei dati con la chiave in 100 parti. cioè i dati associati a chiavi simili saranno

7calore

3risposta

Come convertire un RDD basato sulla classe Case in un DataFrame?

Spark documentation mostra come creare un DataFrame da un RDD, utilizzando le classi caso Scala per dedurre uno schema. Sto cercando di riprodurre questo concetto usando sqlContext.createDataFrame(RDD

7calore

1risposta

Come convertire un RDD [Row] di nuovo in DataFrame

Ho giocato con la conversione di RDD in DataFrames e viceversa. Innanzitutto, ho avuto un RDD di tipo (Int, Int) chiamato dataPair. Poi ho creato un oggetto dataframe con intestazioni di colonna utili

5calore

2risposta

Unione di più RDD generati nel ciclo

Sto chiamando una funzione in scala che fornisce un RDD[(Long,Long,Double)] come output. def helperfunction(): RDD[(Long, Long, Double)] io chiamo questa funzione in loop in un'altra parte del codice

5calore

1risposta

Ottieni il valore massimo per ogni chiave in un RDD Spark

Qual è il modo migliore per restituire la riga massima (valore) associata a ciascuna chiave univoca in un RDD spark? Sto usando python e ho provato Math max, mappando e riducendo per chiavi e aggregat

9calore

2risposta

RDD Aggregate in spark

Sono uno studente di Apache Spark e ho trovato un RDD azione aggregate che non ho idea di come funzioni. Qualcuno può precisare e spiegare in dettaglio passo dopo passo come si è arrivati al risulta

11calore

1risposta

Spark Caching: RDD Solo l'8% nella cache

Per il mio frammento di codice, come di seguito: val levelsFile = sc.textFile(levelsFilePath) val levelsSplitedFile = levelsFile.map(line => line.split(fileDelimiter, -1)) val levelPairRddtemp = lev

5calore

1risposta

Suggerimenti per utilizzare correttamente le variabili di trasmissione di grandi dimensioni?

Sto utilizzando una variabile di trasmissione di circa 100 MB in salamoia in termini di dimensioni, che sto approssimare con: >>> data = list(range(int(10*1e6))) >>> import cPickle as pickle >>> len