apache-spark

7calore

1risposta

Bassa velocità di scrittura JDBC da Spark a MySQL

Ho bisogno di scrivere circa 1 milione di righe da Spark a DataFrame su MySQL ma l'inserimento è troppo lento. Come posso migliorarlo? codice qui sotto: df = sqlContext.createDataFrame(rdd, schema) d

13calore

2risposta

L'utilizzo di Spark per scrivere un file parquet su s3 su s3a è molto lento

Sto cercando di scrivere un file parquet su Amazon S3 utilizzando Spark 1.6.1. Il piccolo parquet che sto generando è ~2GB una volta scritto quindi non si tratta di molti dati. Sto cercando di dimostr

12calore

1risposta

Come modificare il tipo di colonna da String a Date in DataFrames?

Ho un dataframe che ha due colonne (C, D) sono definite come tipo di colonna di stringhe, ma i dati nelle colonne sono effettivamente date. per esempio la colonna C ha la data come "01-APR-2015" e la

6calore

1risposta

Spark Scala ottenere i dati da rdd.foreachPartition

ho un po 'codice come questo: println("\nBEGIN Last Revs Class: "+ distinctFileGidsRDD.getClass) val lastRevs = distinctFileGidsRDD. foreachPartition(iter => { SetupJDBC(jdbcDriver

6calore

1risposta

Posso creare un RDD da un argomento di kafka se non conosco l'offset?

KafkaUtils.createRDD utilizza come parametro l'offsetRanges. Non conosco l'offset dell'argomento da cui voglio leggere. Voglio leggere al massimo i primi 30 messaggi nell'argomento. Vedo che c'è un Ka

7calore

3risposta

Come convertire un RDD basato sulla classe Case in un DataFrame?

Spark documentation mostra come creare un DataFrame da un RDD, utilizzando le classi caso Scala per dedurre uno schema. Sto cercando di riprodurre questo concetto usando sqlContext.createDataFrame(RDD

7calore

1risposta

Come convertire un RDD [Row] di nuovo in DataFrame

Ho giocato con la conversione di RDD in DataFrames e viceversa. Innanzitutto, ho avuto un RDD di tipo (Int, Int) chiamato dataPair. Poi ho creato un oggetto dataframe con intestazioni di colonna utili

5calore

1risposta

Ottieni il valore massimo per ogni chiave in un RDD Spark

Qual è il modo migliore per restituire la riga massima (valore) associata a ciascuna chiave univoca in un RDD spark? Sto usando python e ho provato Math max, mappando e riducendo per chiavi e aggregat

9calore

2risposta

RDD Aggregate in spark

Sono uno studente di Apache Spark e ho trovato un RDD azione aggregate che non ho idea di come funzioni. Qualcuno può precisare e spiegare in dettaglio passo dopo passo come si è arrivati al risulta

9calore

3risposta

Come sommare i valori di una colonna di una dataframe scintille/Scala

Ho un dataframe che ho letto da un file CSV con molte colonne come: timestamp, passi, frequenza cardiaca ecc voglio sommare il valori di ciascuna colonna, ad esempio il numero totale di passaggi sulla