pyspark

6calore

1risposta

Come posso ottenere da 'pyspark.sql.types.Row' il nome di tutte le colonne/attributi?

Sto usando l'API Python di Spark versione 1.4.1. mio oggetto riga simile a questa: row_info = Row(name = Tim, age = 5, is_subscribed = false) Come posso ottenere come risultato, un elenco degli attr

10calore

2risposta

Come interrompere lo streaming spark quando la sorgente dati è esaurita

Ho un processo sparkming che legge da Kafka ogni 5 secondi, esegue una trasformazione sui dati in arrivo e quindi scrive sul file system. Questo non ha davvero bisogno di essere un processo di streami

5calore

2risposta

spark.ml StringIndexer genera l'etichetta "Non visibile" su misura()

Sto preparando un esempio di giocattolo spark.ml. Spark version 1.6.0, in esecuzione su Oracle JDK version 1.8.0_65, pyspark, notebook ipython. In primo luogo, non ha praticamente nulla a che fare con

6calore

1risposta

Spark SQL Row_number() PartitionBy Sort Desc

Ho creato con successo uno row_number()partitionBy in Spark usando Window, ma vorrei ordinare questo in ordine decrescente, invece del default crescente. Qui è il mio codice di lavoro: from pyspark im

15calore

1risposta

Apache Spark - Assegna il risultato di UDF a più colonne del dataframe

Sto usando pyspark, caricando un file csv di grandi dimensioni in un dataframe con spark-csv, e come fase di pre-elaborazione ho bisogno di applicare una varietà di operazioni ai dati disponibili in u

8calore

1risposta

Spark: salva DataFrame partizionato dalla colonna "virtuale"

Sto usando PySpark per fare un classico lavoro ETL (carica set di dati, elaborarlo, salvarlo) e voglio salvare il mio Dataframe come file/directory partizionata da una colonna "virtuale" ; quello che

7calore

1risposta

Come posso raccogliere una singola colonna in Spark?

Vorrei eseguire un'azione su una singola colonna. Sfortunatamente, dopo aver trasformato quella colonna, ora non fa più parte del dataframe da cui proviene, ma un oggetto Colonna. In quanto tale, non

13calore

4risposta

Perché SparkContext si chiude a caso e come lo riavvii da Zeppelin?

Sto lavorando in Zeppelin scrivere query scintilla-SQL e qualche volta ho improvvisamente iniziare a ricevere questo errore (dopo non modificare il codice): Cannot call methods on a stopped SparkConte

6calore

2risposta

Il programma di esempio Spark funziona molto lentamente

Ho provato a utilizzare Spark per lavorare su un semplice problema di grafico. Ho trovato un programma di esempio nella cartella sorgente Spark: transitive_closure.py, che calcola la chiusura transiti

8calore

2risposta

come memorizzare nella cache un frame di dati di accensione e di riferimento in un altro script

E 'possibile memorizzare nella cache un frame di dati e quindi fare riferimento (query) in un altro script ... Il mio obiettivo è la seguente:? in caratteri 1, creare un frame di dati (df) Usa script