pyspark

8calore

3risposta

Sto cercando di importare e utilizzare pyspark con anaconda. Dopo aver installato scintilla, e impostando la variabile $SPARK_HOME ho provato: $ pip install pyspark questo non funzionerà (ovviamente

5calore

1risposta

Come elencare gli RDD definiti in Spark shell?

In entrambe le shell "spark-shell" o "pyspark", ho creato molti RDD ma non sono riuscito a trovare alcun modo attraverso il quale posso elencare tutti gli RDD disponibili nella mia attuale sessione di

23calore

1risposta

Contare il numero di voci non NaN in ogni colonna di Spark dataframe con Pyspark

Ho un set di dati molto grande che viene caricato in Hive. Consiste di circa 1,9 milioni di righe e 1450 colonne. Devo determinare la "copertura" di ciascuna colonna, ovvero la frazione di righe che h

16calore

6risposta

"INSERT INTO ..." con SparkSQL HiveContext

Sto cercando di eseguire un'istruzione inserto con il mio HiveContext, in questo modo: hiveContext.sql('insert into my_table (id, score) values (1, 10)') Il 1.5.2 Spark SQL Documentation non afferma

5calore

1risposta

Come passare parametri aggiuntivi ai metodi definiti dall'utente in pyspark per il metodo di filtro?

Sto usando gli elettrodi con Python e ho un vincolo di filtro come segue: my_rdd.filter(my_func) dove my_func è un metodo che ho scritto per filtrare gli elementi RDD in base alla mia logica. Ho def

5calore

2risposta

Come aggiungere colonne di 2 RDDs a da un unico RDD e poi fare l'aggregazione di righe in base a dati aggiornati in PySpark

Ho due RDDs in PySpark: RDD1: [(u'2013-01-31 00:00:00', u'a', u'Pab', u'abc', u'd'),(u'2013-01-31 00:00:00', u'a', u'ab', u'abc', u'g'),.....] RDD2: [(u'41',u'42.0'),(u'24',u'98.0'),....] Sia RDDs

20calore

1risposta

Spark aggiungere nuova colonna a dataframe con valore dalla riga precedente

mi chiedo come posso raggiungere i seguenti obiettivi a Spark (Pyspark) dataframe iniziale: +--+---+ |id|num| +--+---+ |4 |9.0| +--+---+ |3 |7.0| +--+---+ |2 |3.0| +--+---+ |1 |5.0| +--+---+

6calore

1risposta

pyspark divide una colonna in più colonne senza panda

la mia domanda è come dividere una colonna in più colonne. Non so perché df.toPandas() non funziona. Ad esempio, vorrei cambiare 'df_test' in 'df_test2'. Ho visto molti esempi usando il modulo panda.

14calore

2risposta

Pyspark: ripartizione vs partizioneBy

Sto lavorando a questi due concetti proprio ora e vorrei una certa chiarezza. Dal lavoro attraverso la riga di comando, ho cercato di identificare le differenze e quando uno sviluppatore avrebbe usato

6calore

1risposta

Come salvare una scintilla RDD in formato gzip tramite pyspark

Così sto salvando una scintilla RDD in un secchio S3 usando il seguente codice. C'è un modo per comprimere (in formato gz) e salvare invece di salvarlo come un file di testo. help_data.repartition(5).