pyspark-sql

7calore

2risposta

Pyspark DataFrame UDF sulla colonna di testo

Sto cercando di eseguire la pulizia del testo NLP di alcune colonne Unicode in un DataSource PySpark. Ho provato in Spark 1.3, 1.5 e 1.6 e non riesco a far funzionare le cose per la vita di me. Ho anc

9calore

2risposta

Aggiungere una colonna vuota per accendere DataFrame

Come accennato in manyother locations sul Web, aggiungere una nuova colonna a un DataFrame esistente non è semplice. Sfortunatamente è importante avere questa funzionalità (anche se è inefficiente in

6calore

2risposta

Esecuzione di ricerca/traduzione in una Spark RDD o dati telaio utilizzando un altro RDD/df

Sto avendo un momento difficile attuazione qualcosa che sembra che dovrebbe essere molto facile: Il mio obiettivo è quello di effettuare traduzioni in un RDD/dataframe utilizzando un secondo RDD/dataf

19calore

3risposta

Converti stringa pyspark in formato data

Ho un data dataframe pyspark con una colonna di stringhe nel formato MM-dd-yyyy e sto tentando di convertirlo in una colonna di date. ho provato: df.select(to_date(df.STRING_COLUMN).alias('new_date'))

5calore

1risposta

Come impostare spark.sql.parquet.output.committer.class in pyspark

Sto provando a impostare spark.sql.parquet.output.committer.class e non sembra che le impostazioni abbiano effetto. Sto cercando di scrivere più thread sulla stessa cartella di output, che funzionereb

5calore

1risposta

Lanciare una nuova colonna derivata in un dataframe da booleana a intero

Supponiamo che io sono un dataframe x con questo schema: xSchema = StructType([ \ StructField("a", DoubleType(), True), \ StructField("b", DoubleType(), True), \ StructField("c", Double

9calore

1risposta

ON DUPLICATE KEY UPDATE durante l'inserimento dal dataframe pyspark ad una tabella di database esterna tramite JDBC

Bene, sto usando PySpark e ho un dataframe Spark con il quale inserisco i dati in una tabella mysql. url = "jdbc:mysql://hostname/myDB?user=xyz&password=pwd" df.write.jdbc(url=url, table="myTable", mo

5calore

1risposta

come ottenere il massimo (data) dal set dato di dati raggruppati da alcuni campi usando pyspark?

Ho i dati nella dataframe come di seguito: datetime | userId | memberId | value | 2016-04-06 16:36:... | 1234 | 111 | 1 2016-04-06 17:35:... | 1234 | 222 | 5 2016-04-06 17:50:... | 1234 | 111

8calore

2risposta

come memorizzare nella cache un frame di dati di accensione e di riferimento in un altro script

E 'possibile memorizzare nella cache un frame di dati e quindi fare riferimento (query) in un altro script ... Il mio obiettivo è la seguente:? in caratteri 1, creare un frame di dati (df) Usa script

5calore

2risposta

Correlazione calcolo Pyspark

Desidero utilizzare la funzione pyspark.mllib.stat.Statistics.corr per calcolare la correlazione tra due colonne dell'oggetto pyspark.sql.dataframe.DataFrame. La funzione corr si aspetta di prendere u