pyspark

39calore

2risposta

Possiedo un'applicazione Spark in esecuzione in cui occupa tutti i core in cui alle altre applicazioni non verrà assegnata alcuna risorsa. Ho fatto alcune ricerche veloci e le persone hanno suggerito

20calore

4risposta

Come eliminare le colonne in dataframe pyspark

>>> a DataFrame[id: bigint, julian_date: string, user_id: bigint] >>> b DataFrame[id: bigint, quan_created_money: decimal(10,0), quan_created_cnt: bigint] >>> a.join(b, a.id==b.id, 'outer') DataF

7calore

2risposta

Non in grado di connettersi a postgres usando JDBC in guscio pyspark

Sto usando grappolo standalone sul mio Windows locali e cercando di caricare dati da uno dei nostri server utilizzando seguente codice - from pyspark.sql import SQLContext sqlContext = SQLContext(sc)

7calore

2risposta

Come leggere il file Avro in PySpark

Sto scrivendo un lavoro spark usando python. Tuttavia, ho bisogno di leggere un sacco di file avro. This è la soluzione più vicina che ho trovato nella cartella di esempio di Spark. Tuttavia, devi inv

6calore

1risposta

Creare Spark DataFrame dal dizionario nidificato

Ho una lista di dizionari nidificati, ad es. ds = [{'a': {'b': {'c': 1}}}] e si desidera creare una scintilla DataFrame da esso mentre inferendo schema di dizionari nidificati. Utilizzando sqlContext.

6calore

2risposta

Aggiunta delle due DataFrames dalla stessa fonte

sto usando l'API dataframe di pyspark (Apache scintilla) e sono in esecuzione in seguente problema: Quando unisco due DataFrames che provengono dalla stessa dataframe sorgente, il risultante DF esplod

8calore

3risposta

Come caricare in modo efficiente file di Parquet in Spark (pySpark v1.2.0)

Sto caricando file di parquet ad alta dimensionalità ma ho bisogno solo di poche colonne. Il mio codice attuale assomiglia: dat = sqc.parquetFile(path) \ .filter(lambda r: len(r.a)>0) \

14calore

1risposta

Spark MLlib - trainImplicit avvertimento

Continuo a vedere questi avvertimenti quando si utilizza trainImplicit: WARN TaskSetManager: Stage 246 contains a task of very large size (208 KB). The maximum recommended task size is 100 KB. E po

9calore

3risposta

risparmiare una grande Spark dataframe come un singolo file JSON in S3

Nel tentativo di salvare un dataframe Spark (di oltre 20G) in un unico file JSON in Amazon S3, il mio codice per salvare il dataframe è come questo: dataframe.repartition(1).save("s3n://mybucket/testf

12calore

8risposta

Ottieni CSV su Spark dataframe

Sto usando python su Spark e vorrei ottenere un csv in un dataframe. Lo documentation per Spark SQL in modo strano non fornisce spiegazioni per CSV come origine. ho trovato Spark-CSV, però ho problemi