apache-spark-sql

13calore

4risposta

Spark colonne duplicate in dataframe dopo si uniscono

Ho due dataframes con le seguenti colonne: df1.columns // Array(ts, id, X1, X2) e df2.columns // Array(ts, id, Y1, Y2) Dopo faccio val df_combined = df1.join(df2, Seq(ts,id)) io alla fine con

5calore

1risposta

java.lang.UnsupportedOperationException: 'La scrittura su una tabella Cassandra non vuota non è consentita

Ho uno scenario in cui riceverò i dati di streaming che vengono elaborati dal mio programma di streaming spark e l'output per ciascun intervallo viene aggiunto al mio tavolo cassandra esistente. Attua

8calore

1risposta

Spark: salva DataFrame partizionato dalla colonna "virtuale"

Sto usando PySpark per fare un classico lavoro ETL (carica set di dati, elaborarlo, salvarlo) e voglio salvare il mio Dataframe come file/directory partizionata da una colonna "virtuale" ; quello che

11calore

2risposta

Differenza tra na(). Cadere() e filtro (col.isNotNull) (Apache Spark)

C'è qualche differenza nella semantica tra il df.na().drop() e df.filter(df.col("onlyColumnInOneColumnDataFrame").isNotNull() && !df.col("onlyColumnInOneColumnDataFrame").isNaN()) dove df è Apache Spa

7calore

1risposta

Come posso raccogliere una singola colonna in Spark?

Vorrei eseguire un'azione su una singola colonna. Sfortunatamente, dopo aver trasformato quella colonna, ora non fa più parte del dataframe da cui proviene, ma un oggetto Colonna. In quanto tale, non

13calore

4risposta

Perché SparkContext si chiude a caso e come lo riavvii da Zeppelin?

Sto lavorando in Zeppelin scrivere query scintilla-SQL e qualche volta ho improvvisamente iniziare a ricevere questo errore (dopo non modificare il codice): Cannot call methods on a stopped SparkConte

12calore

1risposta

Utilizzare collect_list e collect_set in Spark SQL

In base allo docs, le funzioni collect_set e devono essere disponibili in Spark SQL. Tuttavia, non riesco a farlo funzionare. Sto usando Spark 1.6.0 usando un Docker image. che sto cercando di fare qu

8calore

2risposta

Come posso passare parametri extra alle UDF in SparkSql?

Voglio analizzare le colonne della data in un DataFrame e, per ciascuna colonna della data, la risoluzione per la data potrebbe cambiare (ad esempio 2011/01/10 => 2011/01 se la risoluzione è impostata

8calore

2risposta

come memorizzare nella cache un frame di dati di accensione e di riferimento in un altro script

E 'possibile memorizzare nella cache un frame di dati e quindi fare riferimento (query) in un altro script ... Il mio obiettivo è la seguente:? in caratteri 1, creare un frame di dati (df) Usa script

11calore

3risposta

SQL SPARK - aggiorna la tabella MySql utilizzando DataFrames e JDBC

Sto cercando di inserire e aggiornare alcuni dati su MySql utilizzando Spark SQL DataFrame e connessione JDBC. Sono riuscito a inserire nuovi dati utilizzando SaveMode.Append. C'è un modo per aggiorna