emr

12calore

3risposta

Non riesco a individuare i registri degli errori oi messaggi delle chiamate println in Scala durante l'esecuzione dei lavori su Spark in EMR. Dove posso accedere a questi? sto presentando il Spark job

14calore

1risposta

Come posso inviare più di un lavoro a Hadoop in una fase utilizzando l'API Elastic MapReduce?

Amazon EMR Documentation to add steps to cluster afferma che un singolo passo Elastic MapReduce può inviare diversi lavori a Hadoop. Tuttavia, Amazon EMR Documentation for Step configuration suggerisc

7calore

1risposta

Pydoop si blocca su readline da file HDFS

Sto leggendo la prima riga di tutti i file in una directory, in locale funziona bene ma su EMR questo test non riesce a bloccarsi intorno al 200-300 ° file. Anche ps -eLF mostra l'aumento di childs a

8calore

2risposta

Come pulire l'elenco dei cluster EMR terminati AWS?

Ho circa 88 cluster EMR che sono terminati nel mio account AWS. Come ripulire l'elenco dei cluster EMR terminati? AWS pulirà la lista? Come mai non vedo la rimozione dei cluster terminati dall'elenco

15calore

4risposta

Risorse spark non allocate completamente su Amazon EMR

Sto cercando di ottimizzare l'utilizzo del cluster per un'attività semplice. Cluster è 1 + 2 x m3.xlarge, runnning Spark 1.3.1, Hadoop 2.4, Amazon AMI 3,7 Il compito legge tutte le righe di un file di

6calore

1risposta

Come si invia un contenitore Spark a un cluster EMR?

Ho usato la console AWS online per avviare il mio cluster insieme ad Apache Spark. Ho un barattolo di grasso basato sulla mia app Spark e l'ho caricato su un S3 Bucket. Quando provo a inviarlo come St

6calore

1risposta

Come eseguire i passaggi del cluster EMR contemporaneamente?

Ciao, ho un cluster EMR. Ogni volta che invio "passaggi" ad esso, li esegue in sequenza. C'è un modo per eseguire "passaggi" contemporaneamente? Oppure è il caso d'uso appropriato per far ruotare più

12calore

3risposta

Qualsiasi SDK Scala o interfaccia per AWS?

Qualcuno sa di Scala SDK per Amazon Web Services? Sono particolarmente interessato ai lavori EMR.

12calore

3risposta

Come sopprimere i messaggi INFO per spark-sql in esecuzione su EMR?

Io corro scintilla su EMR come descritto in Run Spark and Spark SQL on Amazon Elastic MapReduce: Questo tutorial vi guida attraverso l'installazione e la scintilla di funzionamento, un e generale del

5calore

2risposta

Rimuovere il livello di directory durante il trasferimento da HDFS a S3 utilizzando S3DistCp

Ho uno script Pig (utilizzando un MultiStorage leggermente modificato) che trasforma alcuni dati. Una volta che lo script viene eseguito, ho i dati nel seguente formato su HDFS: /tmp/data/identifier1/