Come trovare l'URL master spark su Amazon EMR

Question

Sono nuovo a scintillare e cerco di installare la scintilla sul cluster Amazon con la versione 1.3.1. quando faccio

SparkConf sparkConfig = new SparkConf().setAppName("SparkSQLTest").setMaster("local[2]"); 

funziona per me, ma sono venuto a sapere che questo è a scopo di test posso impostare locale [2]

quando ho provato ad utilizzare modalità cluster ho cambiato in

SparkConf sparkConfig = new SparkConf().setAppName("SparkSQLTest").setMaster("spark://localhost:7077"); 

con questo sto ottenendo sotto l'errore

cercato di associare a irraggiungibile indirizzo remoto [akka.tcp: // sparkMaster @ localhost: 7077]. L'indirizzo è ora chiuso per 5000 ms, tutti i messaggi a questo indirizzo saranno consegnati a lettere morte. Motivo: Connessione rifiutata 15/06/10 15:22:21 INFO client.AppClient $ ClientActor: Connessione a master akka.tcp: // sparkMaster @ localhost: 7077/user/Master ..

Qualcuno potrebbe per favore lasciare io come impostare l'URL principale.

Answer 1

Se si sta utilizzando l'azione bootstrap da https://github.com/awslabs/emr-bootstrap-actions/tree/master/spark, la configurazione è configurata per Spark on YARN. Quindi imposta master su yarn-client o yarn-cluster. Assicurati di definire il numero di esecutori con memoria e core. Maggiori informazioni su Spark sul filato a https://spark.apache.org/docs/latest/running-on-yarn.html

aggiunta per quanto riguarda le impostazioni esecutore per la memoria e il nucleo dimensionamento:

Date un'occhiata ai predefinita FILATO configurazioni Node Manager per ogni tipo a http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/TaskConfiguration_H2.html, specificamente yarn.scheduler.maximum-allocation-mb. È possibile determinare il numero di core dall'URL di informazioni di base EC2 (http://aws.amazon.com/ec2/instance-types/). La dimensione massima della memoria dell'esecutore deve rientrare nell'allocazione massima, meno l'overhead di Spark e con incrementi di 256 MB. Una buona descrizione di questo calcolo è http://blog.cloudera.com/blog/2015/03/how-to-tune-your-apache-spark-jobs-part-2/. Non dimenticare che un po 'più della metà della memoria dell'esecutore può essere utilizzata per la cache RDD.