Impossibile usare apache flink in amazon emr

Non riesco ad avviare una sessione di filato di Apache Flink in Amazons EMR. Il messaggio di errore che ricevo èImpossibile usare apache flink in amazon emr

$ tar xvfj flink-0.9.0-bin-hadoop26.tgz 
$ cd flink-0.9.0 
$ ./bin/yarn-session.sh -n 4 -jm 1024 -tm 4096 
... 
Diagnostics: File file:/home/hadoop/.flink/application_1439466798234_0008/flink-conf.yaml does not exist 
java.io.FileNotFoundException: File file:/home/hadoop/.flink/application_1439466798234_0008/flink-conf.yaml does not exist 
...

Sto utilizzando Flink verision 0.9 e Amazons Hadoop versione 4.0.0. Qualche idea o suggerimento?

Il registro completo può essere trovato qui: https://gist.github.com/headmyshoulder/48279f06c1850c62c28c

fonte

2015-08-13 headmyshoulder

cosa è successo prima l'errore? Potresti per favore condividere più risultati? – mxm

Ok, ho aggiunto il registro completo. – headmyshoulder

Dal registro: schema del sistema

Il file è 'file'. Ciò indica che il percorso di configurazione Hadoop specificato è sbagliato e lo sytem sta usando la configurazione di default Hadoop valori.le Flink cliente FILATO ha bisogno di archiviare i file in un file system distribuito

Flink è riuscito a leggere i file di configurazione Hadoop. Vengono prelevati dalle variabili di ambiente, ad es. HADOOP_HOME, oppure puoi impostare la dir di configurazione in flink-conf.yaml prima di eseguire il comando YARN.

Flink deve leggere la configurazione Hadoop per sapere come caricare il vaso Flink sul file system del cluster in modo tale che il cluster YARN appena creato possa accedervi. Se Flink non riesce a risolvere la configurazione di Hadoop, utilizza il file system locale per caricare il jar. Ciò significa che il barattolo verrà inserito nella macchina da cui si avvia il cluster. Pertanto, non sarà accessibile dal cluster Flink YARN.

Vedere Flink configuration page per ulteriori informazioni.

modifica: su Amazong EMR, export HADOOP_CONF_DIR=/etc/hadoop/conf Let's Flink rileva la directory di configurazione di Hadoop.

fonte

2015-08-14 06:15:54 mxm

Alcuni dei file di configurazione sono in/etc/hadoop/conf altro no. Indico la configurazione del flink in questa directory ma non cambia nulla. – headmyshoulder

Puoi eseguire il comando 'env' per vedere se le variabili di ambiente sono impostate? Inoltre, hai messo 'fs.hdfs.hadoopconf:/etc/hadoop /' nel file di configurazione di Flink?/Etc/hadoop contiene i file di configurazione di Hadoop xml? – mxm

'HADOOP_HOME' non è impostato. '/ etc/hadoop/conf' contiene alcuni dei file di configurazione, ma non tutti. Ad esempio, esso contiene 'hdfs-site.xml' ma non' hdfs-default.xml'. Secondo la documentazione dei flin, sono necessari questi due file. – headmyshoulder

se fossi in te proverei con questo:

./bin/yarn-session.sh -n 1 jm 768 -TM 768

fonte

2016-10-26 09:04:55

Impossibile usare apache flink in amazon emr

risposta

Problemi correlati