pyspark

8calore

1risposta

Posso cambiare SparkContext.appName al volo?

So che posso utilizzare SparkConf.set('spark.app.name',...) per impostare appNameprima del creando SparkContext. Tuttavia, desidero modificare il nome dell'applicazione mentre avanza, ovvero dopo che

17calore

1risposta

Cosa impostare a `SPARK_HOME`?

installati Apache Maven-3.3.3, Scala 2.11.6, poi corse: $ git clone git://github.com/apache/spark.git -b branch-1.4 $ cd spark $ build/mvn -DskipTests clean package Infine: $ git clone https://git

7calore

2risposta

Come specificare il percorso in cui saveAsTable salva i file?

Sto cercando di salvare un dataframe per S3 in pyspark in Spark1.4 utilizzando DataFrameWriter df = sqlContext.read.format("json").load("s3a://somefile") df_writer = pyspark.sql.DataFrameWriter(df)

14calore

1risposta

PySpark aggiunge una colonna a un DataFrame da una colonna TimeStampType

Ho un DataFrame che assomiglia a qualcosa del genere. Voglio operare il giorno del campo date_time. root |-- host: string (nullable = true) |-- user_id: string (nullable = true) |-- date_time: time

5calore

1risposta

Pyspark StructType non è definito

Sto provando a strutturare uno schema per il test db e StructType a quanto pare non funziona per qualche motivo. Sto seguendo un tut e non importa nessun modulo aggiuntivo. <type 'exceptions.NameError

5calore

2risposta

Connessione da Spark/pyspark a PostgreSQL

Ho installato Spark su una macchina Windows e voglio usarlo tramite Spyder. Dopo alcuni problemi, le basi sembrano funzionare: import os os.environ["SPARK_HOME"] = "D:\Analytics\Spark\spark-1.4.0-bi

5calore

2risposta

Spark DataFrame TimestampType - come ottenere i valori di Anno, Mese, Giorno dal campo?

devo dataframe Spark con Take (5) top righe come segue: [Row(date=datetime.datetime(1984, 1, 1, 0, 0), hour=1, value=638.55), Row(date=datetime.datetime(1984, 1, 1, 0, 0), hour=2, value=638.55), Row

7calore

2risposta

Come estrarre ID applicazione dal contesto PySpark

Un previous question raccomanda sc.applicationId, ma è non presente in PySpark, solo in scala. Quindi, come faccio a capire l'ID dell'applicazione (per yarn) del mio processo PySpark?

22calore

6risposta

Spark 1.4 aumenta la memoria maxResultSize

Sto usando Spark 1.4 per la mia ricerca e sto lottando con le impostazioni della memoria. La mia macchina ha 16 GB di memoria quindi non ci sono problemi dato che la dimensione del mio file è di soli

5calore

2risposta

rimuovere i duplicati da un dataframe in pyspark

Sto lavorando con i dataframe in pyspark 1.4 localmente e sto riscontrando problemi nel far funzionare il metodo dei duplicati di rilascio. Continua a restituire l'errore "AttributeError: 'list' objec