pyspark

5calore

3risposta

Come interrogare un indice Elasticsearch utilizzando Pyspark e Dataframes

La documentazione di Elasticsaerch riguarda solo il caricamento di un indice completo su Spark. from pyspark.sql import SQLContext sqlContext = SQLContext(sc) df = sqlContext.read.format("org.elasti

8calore

2risposta

Esplodi in PySpark

Mi piacerebbe trasformare da un DataFrame che contiene elenchi di parole in un DataFrame con ogni parola nella sua stessa riga. Come si esplode su una colonna in un DataFrame? Ecco un esempio con alcu

13calore

2risposta

Costruire una riga da un dict in pySpark

Sto provando a creare dinamicamente una riga in pySpark 1.6.1, quindi a crearla in un dataframe. L'idea generale è di estendere i risultati di describe per includere, ad esempio, skew e kurtosis. Ecco

5calore

1risposta

Algebra dinamica dinamica su Spark

Considerare il seguente problema. Dato: Una collezione di set un'espressione booleana su di loro che si riceve in modo dinamico Ritorna l'insieme risultante. Spark dispone di algoritmi o librerie effi

7calore

2risposta

Funzioni spark vs prestazioni UDF?

Spark ora offre funzioni predefinite che possono essere utilizzate nei dataframes e sembra che siano altamente ottimizzate. La mia domanda iniziale stava per essere più veloce, ma ho fatto alcuni test

6calore

4risposta

Errore SparkContext - File non trovato/tmp/candele-eventi non esiste

l'esecuzione di un'applicazione Python Spark tramite chiamata API - Sulla presentazione della domanda - risposta - non riuscito SSH nella Worker esiste mia domanda di pitone in /root/spark/work/driver

13calore

3risposta

Qual è il modo migliore per rimuovere gli accenti con i datafram di scintilla di apache in PySpark?

Devo eliminare gli accenti dai caratteri in spagnolo e altre lingue da diversi set di dati. Ho già eseguito una funzione basata sul codice fornito in questo post che rimuove gli accenti speciali. Il p

5calore

1risposta

Come elaborare i file S3 incrementali in Spark

Ho effettuato la seguente pipeline: Task manager -> SQS -> worker raschietto (la mia app) -> AWS Firehose -> S3 file -> Spark -> (?) Redshift. Alcune cose che sto cercando di risolvere/migliorare e sa

5calore

1risposta

come ottenere il massimo (data) dal set dato di dati raggruppati da alcuni campi usando pyspark?

Ho i dati nella dataframe come di seguito: datetime | userId | memberId | value | 2016-04-06 16:36:... | 1234 | 111 | 1 2016-04-06 17:35:... | 1234 | 222 | 5 2016-04-06 17:50:... | 1234 | 111

8calore

2risposta

Perché è possibile avere "risultati serializzati di n attività (XXXX MB)" maggiore di `spark.driver.memory` in pyspark?

ho lanciato un lavoro scintilla con queste impostazioni (tra gli altri): spark.driver.maxResultSize 11GB spark.driver.memory 12GB ero il debug il mio pyspark lavoro, ed è tenuto a darmi l'errore: