emr

7calore

1risposta

Spark on yarn mode end with "Exit status: -100 Diagnostics: Container rilasciato su un nodo * lost *"

Sto provando a caricare un database con dati da 1 TB per accendere AWS utilizzando l'ultimo EMR. E il tempo di esecuzione è così lungo che non termina nemmeno in 6 ore, ma dopo aver eseguito 6h30m, ri

5calore

2risposta

PrestoDB EMR Server connessione rifiutata

Ho installato un EMR in AWS con PrestoDB installato su di esso, in precedenza ero in grado di interrogare con PrestoDB ma in qualche modo dopo un riavvio ha smesso di funzionare e ha iniziato a dare i

5calore

1risposta

Spark/Hadoop - Impossibile salvare su s3 con crittografia lato server

Sto eseguendo AWS EMR Cluster per eseguire lavori spark. Per lavorare con i bucket s3, la configurazione di hadoop viene impostata con le chiavi di accesso, le chiavi segrete, enableServerSideEncrypti

5calore

3risposta

Scintilla EMR non raccogli vasi

Sto utilizzando spark-shell e non riesco a prelevare esterno jars. Corro spark in EMR. ho eseguire il seguente comando: spark-shell --jars s3://play/emr/release/1.0/code.jar ottengo il seguente erro

7calore

1risposta

Ottieni una configurazione di filato dalla riga di comando

In EMR, c'è un modo per ottenere un valore specifico della configurazione data la chiave di configurazione utilizzando il comando yarn? Per esempio vorrei fare qualcosa di simile yarn get-config yarn.

7calore

2risposta

Impossibile usare apache flink in amazon emr

Non riesco ad avviare una sessione di filato di Apache Flink in Amazons EMR. Il messaggio di errore che ricevo è $ tar xvfj flink-0.9.0-bin-hadoop26.tgz $ cd flink-0.9.0 $ ./bin/yarn-session.sh -n 4

8calore

1risposta

YARN: Qual è la differenza tra numero di esecutori e core dell'esecutore in Spark?

Sto imparando Spark su AWS EMR. Nel processo sto cercando di capire la differenza tra il numero di esecutori (- num-executors) e executor core (--executor-core). Qualcuno può dirmi qui? Anche quando s

14calore

3risposta

Come riavviare il filato su AWS EMR

Sto usando Hadoop 2.6.0 (immagine emr-4.2.0). Ho apportato alcune modifiche in yarn-site.xml e voglio riavviare il filo per rendere effettive le modifiche. Esiste un comando con cui posso eseguire que

5calore

1risposta

WARN ReliableDeliverySupervisor: l'associazione con il sistema remoto non è riuscita, l'indirizzo è ora chiuso per [5000] ms. Motivo: [dissociato]

Sono in esecuzione la seguente frase su AWS scintilla val sqlContext = new org.apache.spark.sql.SQLContext(sc) import sqlContext.implicits._ case class Wiki(project: String, title: String, count: I

6calore

2risposta

Boto3 EMR - Passo alveare

È possibile eseguire passaggi di alveare utilizzando boto 3? Lo sto facendo usando la CLI di AWS, ma dai documenti (http://boto3.readthedocs.org/en/latest/reference/services/emr.html#EMR.Client.add_jo