Ho usato la console AWS online per avviare il mio cluster insieme ad Apache Spark. Ho un barattolo di grasso basato sulla mia app Spark e l'ho caricato su un S3 Bucket. Quando provo a inviarlo come Step with a Custom Jar
, il processo non riesce. Qualsiasi suggerimento sarebbe molto apprezzato.Come si invia un contenitore Spark a un cluster EMR?
6
A
risposta
2
Usa EMR bootstrap to install Spark, e inviare il lavoro come descritto nella documentazione: https://github.com/awslabs/emr-bootstrap-actions/blob/master/spark/examples/spark-submit-via-step.md
Grazie per il vostro input. Tuttavia, i miei output di aws-cli non prevedono alcun metodo di aggiunta dei passi. Dovrei usare il suo client rubino? – dataker
La documentazione usa aws cli predefinito, che ha quel metodo: http://docs.aws.amazon.com/cli/latest/reference/emr/index.html Puoi usare il comando alternativo che hai nella tua CLI se ce n'è uno, o aggiornamento alla versione più recente di implementazione CLI predefinita. –
Ho capito! molte grazie – dataker