apache-spark-sql

18calore

1risposta

Qual è la differenza tra gli operatori cubo, cumulativo e groupBy?

La domanda è praticamente nel titolo. Non riesco a trovare alcuna documentazione dettagliata riguardante le differenze. Noto una differenza perché quando si scambiano le chiamate di cubo e di gruppo c

9calore

1risposta

Come unire i grandi dataframes in Spark SQL? (best practice, stabilità, prestazioni)

Ricevo lo stesso errore di Missing an output location for shuffle quando si uniscono i grandi dataframes in Spark SQL. La raccomandazione è di impostare MEMORY_AND_DISK e/o spark.shuffle.memoryFractio

5calore

1risposta

Come viene implementato l'idioma Spark select-explode?

Si supponga di avere un DataFrame con una colonna di stringhe, col1 e una colonna di array, col2. Mi chiedevo che cosa succede dietro le quinte nel funzionamento Spark: df.select('col1', explode('col2

20calore

4risposta

Come creare DataFrame dalla lista di Iterables di Scala?

Ho il seguente valore Scala: val values: List[Iterable[Any]] = Traces().evaluate(features).toList e voglio convertirlo in un dataframe. Quando provo il seguente: sqlContext.createDataFrame(values)

19calore

3risposta

Converti stringa pyspark in formato data

Ho un data dataframe pyspark con una colonna di stringhe nel formato MM-dd-yyyy e sto tentando di convertirlo in una colonna di date. ho provato: df.select(to_date(df.STRING_COLUMN).alias('new_date'))

8calore

2risposta

Esplodi in PySpark

Mi piacerebbe trasformare da un DataFrame che contiene elenchi di parole in un DataFrame con ogni parola nella sua stessa riga. Come si esplode su una colonna in un DataFrame? Ecco un esempio con alcu

5calore

1risposta

Come specificare più tabelle in Spark SQL?

Ho un codice in cui ho bisogno di impostare tre tabelle. Per farlo devo chiamare la funzione jdbc tre volte per ogni tabella. Vedi codice sotto val props = new Properties props.setProperty("user"

7calore

2risposta

Funzioni spark vs prestazioni UDF?

Spark ora offre funzioni predefinite che possono essere utilizzate nei dataframes e sembra che siano altamente ottimizzate. La mia domanda iniziale stava per essere più veloce, ma ho fatto alcuni test

5calore

1risposta

come ottenere il massimo (data) dal set dato di dati raggruppati da alcuni campi usando pyspark?

Ho i dati nella dataframe come di seguito: datetime | userId | memberId | value | 2016-04-06 16:36:... | 1234 | 111 | 1 2016-04-06 17:35:... | 1234 | 222 | 5 2016-04-06 17:50:... | 1234 | 111

5calore

1risposta

Come eseguire una query sul frame di dati in cui 1 campo di StringType ha valore json in Spark SQL

Sto cercando di utilizzare SQL su un frame di dati spark. Ma il frame di dati ha 1 valore ha stringa (che è JSON come la struttura): ho salvato il mio telaio dati alla tabella temporanea: TestTable Qu