pyspark

7calore

2risposta

Filtra se il valore della colonna è uguale a una lista nella scintilla

Sto provando a filtrare una scintilla dataframe in base al fatto che i valori in una colonna equivalgano a una lista. Mi piacerebbe fare qualcosa di simile: filtered_df = df.where(df.a == ['list','of'

6calore

2risposta

Usufruisci del serializzatore Kryo quando usi Pyspark?

Ho letto che il serializzatore Kryo può fornire una serializzazione più veloce quando viene utilizzato in Apache Spark. Comunque, sto usando Spark tramite Python. Ricevo ancora notevoli vantaggi dal p

6calore

1risposta

Jupyter & PySpark: come eseguire più quaderni

Sto usando Spark 1.6.0 su tre VM, 1x Master (standalone), 2x worker w/8G RAM, 2CPU ciascuno. Sto usando la configurazione del kernel di seguito: { "display_name": "PySpark ", "language": "python3",

10calore

5risposta

come ciclicamente ogni fila di dataframe in pyspark

es sqlContext = SQLContext(sc) sample=sqlContext.sql("select Name ,age ,city from user") sample.show() L'istruzione precedente stampa intera tabella sul terminale ma voglio accedere a ciascuna ri

12calore

3risposta

Spark può accedere alla tabella Hive dal pyspark ma non dalla scintilla presentare

Così, quando si esegue da pyspark vorrei digitare (senza specificare alcun contesti): df_openings_latest = sqlContext.sql('select * from experian_int_openings_latest_orc') .. e funziona benissimo. T

5calore

1risposta

Qual è il modo più efficiente per eseguire una riduzione ordinata in PySpark?

Sto analizzando i record delle prestazioni in tempo reale dei voli nazionali statunitensi a partire dal 2015. Devo raggruppare per numero di coda e archiviare una lista ordinata di tutti i voli per ci

11calore

4risposta

Non riesco a ottenere --py-files su Spark per funzionare

Sto riscontrando un problema con l'utilizzo di Python su Spark. La mia applicazione ha alcune dipendenze, come numpy, panda, astropy, ecc. Non posso usare virtualenv per creare un ambiente con tutte l

13calore

2risposta

PySpark row-wise funzione composizione

Come un esempio semplificato, ho un dataframe "df" con colonne "col1, col2" e voglio calcolare una riga massima-saggio dopo l'applicazione di una funzione di ciascuna colonna: def f(x): return (x

13calore

2risposta

pyspark EOFError dopo aver chiamato la mappa

Sono nuovo di scintilla & pyspark. Sto leggendo un file csv piccolo (~ 40k) in un dataframe. from pyspark.sql import functions as F df = sqlContext.read.format('com.databricks.spark.csv').options(hea

5calore

2risposta

scintilla: Come fare un dropDuplicates su un dataframe mantenendo la riga con il valore più elevato

Ho un caso d'uso in cui avrei bisogno di eliminare righe duplicate di un dataframe (in questo caso duplicato significa che hanno lo stesso campo 'id') mantenendo la riga con il campo 'timestamp' (unix