spark-dataframe

6calore

1risposta

Come recuperare le metriche come la dimensione dell'output e i record scritti dall'interfaccia utente di Spark?

Come raccogliere queste metriche su una console (Spark Shell o Spark submit job) subito dopo l'esecuzione dell'attività o del lavoro. Usiamo Spark per caricare dati da Mysql a Cassandra ed è piuttosto

7calore

3risposta

Come convertire un RDD basato sulla classe Case in un DataFrame?

Spark documentation mostra come creare un DataFrame da un RDD, utilizzando le classi caso Scala per dedurre uno schema. Sto cercando di riprodurre questo concetto usando sqlContext.createDataFrame(RDD

6calore

3risposta

Creazione di un nuovo Spark DataFrame con un nuovo valore di colonna basato sulla colonna nel primo dataframe Java

Questo dovrebbe essere facile ma .... utilizzando Spark 1.6.1 .... Ho DataFrame # 1 con le colonne A, B, C . con valori: A B C 1 2 A 2 2 A 3 2 B 4 2 C ho quindi creare un nuovo dataframe con una

5calore

2risposta

SQL Spark: come utilizzare i dati json da un servizio REST come DataFrame

Ho bisogno di leggere alcuni dati JSON da un servizio Web che fornisce interfacce REST per interrogare i dati dal mio codice SQL SPARK per l'analisi. Sono in grado di leggere un JSON memorizzato nell'

5calore

3risposta

SPARK dataframe: Rimuovere il valore MAX in un gruppo

miei dati è come: id | val ---------------- a1 | 10 a1 | 20 a2 | 5 a2 | 7 a2 | 2 sto cercando di eliminare la riga che ha MAX (val) nel gruppo se il gruppo I a "id". risultato dovrebbe essere

7calore

1risposta

come creare DataFrame da più array in Spark Scala?

val tvalues: Array[Double] = Array(1.866393526974307, 2.864048126935307, 4.032486069215076, 7.876169953355888, 4.875333799256043, 14.316322626848278) val pvalues: Array[Double] = Array(0.064020056478

6calore

1risposta

Ottieni l'elenco dei tipi di dati dallo schema in Apache Spark

Ho il seguente codice in Spark-Python per ottenere l'elenco di nomi dallo schema di un DataFrame, che funziona bene, ma come posso ottenere l'elenco dei tipi di dati ? columnNames = df.schema.names

9calore

3risposta

Cos'è la scintilla della libreria di versioni SparkSession

Codice Spark con SparkSession. import org.apache.spark.SparkConf import org.apache.spark.SparkContext val conf = SparkSession.builder .master("local") .appName("testing") .en

5calore

2risposta

stringa Converti in timestamp per Spark usando Scala

ho un dataframe chiamato train, ha il seguente schema: root |-- date_time: string (nullable = true) |-- site_name: integer (nullable = true) |-- posa_continent: integer (nullable = true) voglio l

5calore

2risposta

Spark RDD - evitare shuffle - Il partizionamento aiuta a elaborare file enormi?

Ho un'applicazione con circa 10 file flat ciascuno del valore di oltre 200 MM + record in essi. La logica aziendale implica l'unione di tutti loro in modo sequenziale. mio ambiente: 1 master - 3 slave