spark-dataframe

38calore

5risposta

Ricava più colonne da una singola colonna in Spark DataFrame

Ho un DF con un enorme metadata parseable come una singola colonna di stringa in un Dataframe, consente di chiamarlo DFA, con ColmnA. Vorrei rompere questa colonna, ColmnA in più colonne attraverso un

9calore

1risposta

Drop data frame spark dalla cache

Sto usando la scintilla 1.3.0 con python api. durante la trasformazione di enormi quantità di dati, inserisco nella cache molti DF per un'esecuzione più rapida; df1.cache() df2.cache() una volt

13calore

1risposta

Spark sql dataframe - Import sqlContext.implicits._

ho principale che crea contesto scintilla: val sc = new SparkContext(sparkConf) val sqlContext = new org.apache.spark.sql.SQLContext(sc) import sqlContext.implicits._ Poi crea dataframe e

9calore

1risposta

ON DUPLICATE KEY UPDATE durante l'inserimento dal dataframe pyspark ad una tabella di database esterna tramite JDBC

Bene, sto usando PySpark e ho un dataframe Spark con il quale inserisco i dati in una tabella mysql. url = "jdbc:mysql://hostname/myDB?user=xyz&password=pwd" df.write.jdbc(url=url, table="myTable", mo

6calore

1risposta

Come filtrare una dataframe scintilla contro un altro dataframe

Sto cercando di filtrare un dataframe contro un altro: scala> val df1 = sc.parallelize((1 to 100).map(a=>(s"user $a", a*0.123, a))).toDF("name", "score", "user_id") scala> val df2 = sc.parallelize(Li

12calore

3risposta

Come faccio a convertire un RDD con una colonna sparsevector ad un dataframe con una colonna come vettore

Ho un RDD con una tupla di valori (String, sparsevector) e voglio creare un dataframe utilizzando il RDD. Per ottenere un (etichetta: stringa, caratteristiche: vettore) DataFrame che è lo schema richi

43calore

2risposta

Come aggiungere una colonna costante in Spark DataFrame?

Voglio aggiungere una colonna in un DataFrame con un valore arbitrario (che è lo stesso per ogni riga). Ottengo un errore quando uso withColumn come segue: dt.withColumn('new_column', 10).head(5) --

7calore

1risposta

deve costruire Spark con Hive (scintilla 1.5.0)

scintilla scaricato 1.5.0 pre-costruito e gestito tramite pyspark questo semplice codice from pyspark.sql import Row l = [('Alice', 1)] sqlContext.createDataFrame(l).collect rendimenti errore: 15/

5calore

2risposta

Come comprimere due (o più) DataFrame in Spark

Ho due DataFramea e b. a è come Column 1 | Column 2 abc | 123 cde | 23 b è come Column 1 1 2 voglio zip a e b (o anche più) DataFrames che diventa qualcosa di simile a: Column 1 | Column 2

7calore

1risposta

dataframe/Dataset groupBy comportamento/ottimizzazione

Supponiamo di avere dataframe df composta dalle seguenti colonne: Nome, Cognome, dimensioni, larghezza, lunghezza, pesare Ora vogliamo effettuare una Un paio di operazioni, per esempio, vogliamo crear