apache-spark-sql

6calore

1risposta

Come recuperare le metriche come la dimensione dell'output e i record scritti dall'interfaccia utente di Spark?

Come raccogliere queste metriche su una console (Spark Shell o Spark submit job) subito dopo l'esecuzione dell'attività o del lavoro. Usiamo Spark per caricare dati da Mysql a Cassandra ed è piuttosto

8calore

3risposta

Un-persisting tutti i dataframes in (py) spark

Sono un'applicazione spark con diversi punti in cui vorrei mantenere lo stato corrente. Questo di solito avviene dopo un grande passo, o memorizzando nella cache uno stato che vorrei usare più volte.

10calore

1risposta

AuthorizationException: l'utente non ha permesso di rappresentare l'utente

ho scritto un lavoro scintilla che registra una tabella temporanea e quando che è stato esposto tramite linea d'aria (client JDBC) $ ./bin/beeline beeline> !connect jdbc:hive2://IP:10003 -n ram -p xx

13calore

2risposta

L'utilizzo di Spark per scrivere un file parquet su s3 su s3a è molto lento

Sto cercando di scrivere un file parquet su Amazon S3 utilizzando Spark 1.6.1. Il piccolo parquet che sto generando è ~2GB una volta scritto quindi non si tratta di molti dati. Sto cercando di dimostr

12calore

1risposta

Come modificare il tipo di colonna da String a Date in DataFrames?

Ho un dataframe che ha due colonne (C, D) sono definite come tipo di colonna di stringhe, ma i dati nelle colonne sono effettivamente date. per esempio la colonna C ha la data come "01-APR-2015" e la

10calore

1risposta

come scrivere caso quando la condizione in scintilla SQL utilizzando Scala

SELECT c.PROCESS_ID, CASE WHEN c.PAYMODE = 'M' THEN CASE WHEN CURRENCY = 'USD' THEN c.PREMIUM * c.RATE ELSE c.PREMIUM END * 12 ELSE CASE WHEN CURR

6calore

3risposta

Creazione di un nuovo Spark DataFrame con un nuovo valore di colonna basato sulla colonna nel primo dataframe Java

Questo dovrebbe essere facile ma .... utilizzando Spark 1.6.1 .... Ho DataFrame # 1 con le colonne A, B, C . con valori: A B C 1 2 A 2 2 A 3 2 B 4 2 C ho quindi creare un nuovo dataframe con una

5calore

2risposta

SQL Spark: come utilizzare i dati json da un servizio REST come DataFrame

Ho bisogno di leggere alcuni dati JSON da un servizio Web che fornisce interfacce REST per interrogare i dati dal mio codice SQL SPARK per l'analisi. Sono in grado di leggere un JSON memorizzato nell'

5calore

3risposta

SPARK dataframe: Rimuovere il valore MAX in un gruppo

miei dati è come: id | val ---------------- a1 | 10 a1 | 20 a2 | 5 a2 | 7 a2 | 2 sto cercando di eliminare la riga che ha MAX (val) nel gruppo se il gruppo I a "id". risultato dovrebbe essere

8calore

2risposta

Si tratta di un bug del flusso di scintilla o perdita di memoria?

Invio il mio codice a un cluster spark-alone. Il comando di invio è il seguente: nohup ./bin/spark-submit \ --master spark://ES01:7077 \ --executor-memory 4G \ --num-executors 1 \ --total-executor