spark-dataframe

10calore

2risposta

Prevent DataFrame.partitionBy() di rimuovere le colonne partizionati da schema

ripartiziono un dataframe come segue: df.write.partitionBy("type", "category").parquet(config.outpath) Il codice dà i risultati attesi (dati partizionati cioè per tipo & categoria). Tuttavia, le col

5calore

1risposta

Come dividere una colonna?

Mi piacerebbe vedere se riesco a dividere una colonna in spark dataframes. In questo modo, Select employee, split(department,"_") from Employee

5calore

2risposta

scintilla: Come fare un dropDuplicates su un dataframe mantenendo la riga con il valore più elevato

Ho un caso d'uso in cui avrei bisogno di eliminare righe duplicate di un dataframe (in questo caso duplicato significa che hanno lo stesso campo 'id') mantenendo la riga con il campo 'timestamp' (unix

9calore

3risposta

Come unire due DataFrames in Scala e Apache Spark?

5calore

2risposta

Conversione di un dataframe Spark in una collezione di mappe Scala

Sto cercando di trovare la soluzione migliore per convertire un intero dataframe Spark in una raccolta scala mappa. E 'meglio illustrato come segue: per andare da questo (negli esempi Spark): val df =

6calore

3risposta

Come sottrarre una colonna di giorni da una colonna di date in Pyspark?

dato i seguenti PySpark dataframe df = sqlContext.createDataFrame([('2015-01-15', 10), ('2015-02-15', 5)], ('date_col', 'days_col')) Come può la colonna giorni sottratto dal

7calore

2risposta

Filtra se il valore della colonna è uguale a una lista nella scintilla

Sto provando a filtrare una scintilla dataframe in base al fatto che i valori in una colonna equivalgano a una lista. Mi piacerebbe fare qualcosa di simile: filtered_df = df.where(df.a == ['list','of'

9calore

1risposta

Spark SQL: Convertire RDD [GenericData.Record] per dataframe

Forse questa domanda può sembrare un po 'astratto, qui è: val originalAvroSchema : Schema = // read from a file val rdd : RDD[GenericData.Record] = // From some streaming source // Looking for a ha

5calore

1risposta

Spark non trovato

Sono abbastanza nuovo a Spark, e hanno i seguenti problemi: quando si tenta di importare SqlContext con: import org.apache.spark.sql.SQLContext; o cercare di inizializzare SqlContext variabile in mo

7calore

3risposta

Spark - Generazione di numeri casuali

Ho scritto un metodo che deve considerare un numero casuale per simulare una distribuzione di Bernoulli. Sto usando random.nextDouble per generare un numero compreso tra 0 e 1, quindi prendere la mia