apache-spark-sql

5calore

2risposta

Seleziona colonne specifiche in un dataframe PySpark per migliorare le prestazioni

Lavorando con i dataflight Spark importati da Hive, a volte ho finito con diverse colonne che non ho bisogno. Supponendo che io non voglio filtrarli con df = SqlContext.sql('select cols from mytable')

9calore

3risposta

Cos'è la scintilla della libreria di versioni SparkSession

Codice Spark con SparkSession. import org.apache.spark.SparkConf import org.apache.spark.SparkContext val conf = SparkSession.builder .master("local") .appName("testing") .en

8calore

2risposta

Passando una colonna di frame di dati e un elenco esterno a udf sotto conColumn

Ho un dataframe spark con la seguente struttura. BodyText_token ha i token (elaborati/set di parole). E ho una lista annidata di parole chiave definiti root |-- id: string (nullable = true) |-- body

6calore

1risposta

Spark - Shuffle Read Blocked Time

Ultimamente ho regolato le prestazioni di alcuni grandi lavori di shuffle pesanti. Guardando l'interfaccia utente di spark, ho notato un'opzione chiamata "Shuffle Read Blocked Time" nella sezione dell

7calore

1risposta

colonna pivot stringa su Pyspark dataframe

Ho un semplice dataframe come questo: rdd = sc.parallelize( [ (0, "A", 223,"201603", "PORT"), (0, "A", 22,"201602", "PORT"), (0, "A", 422,"201601", "DOCK"), (1,"B", 3213,"2

5calore

1risposta

query di aggiornamento in Spark SQL

mi chiedo posso usare la query di aggiornamento in sparksql proprio come: sqlContext.sql("update users set name = '*' where name is null") ho ottenuto l'errore: org.apache.spark.sql.AnalysisExceptio

7calore

4risposta

Zeppelin - Impossibile interrogare con% sql una tabella Mi sono registrato con pyspark

Sono nuovo di spark/zeppelin e volevo completare un semplice esercizio, dove trasformerò un file csv da panda a Spark data frame e quindi registrerò la tabella interrogarlo con sql e visualizzarlo usa

10calore

2risposta

Come gruppo da intervallo di tempo in Spark SQL

mio set di dati si presenta così: KEY |Event_Type | metric | Time 001 |event1 | 10 | 2016-05-01 10:50:51 002 |event2 | 100 | 2016-05-01 10:50:53 001 |event3 | 20 | 2016-05-01 10:50:55 001 |ev

7calore

1risposta

Spark SQL: Perché due processi per una query?

Esperimento ho provato il seguente frammento su Spark 1.6.1. val soDF = sqlContext.read.parquet("/batchPoC/saleOrder") # This has 45 files soDF.registerTempTable("so") sqlContext.sql("select dpHour,

12calore

2risposta

Come partecipare a Dataset su più colonne?

Dato due Spark Dataset, A e B, che posso fare un join su un'unica colonna come segue: a.joinWith(b, $"a.col" === $"b.col", "left") mia domanda è se si può fare un join con più colonne. In sostanza l