Le applicazioni non visualizzate nell'interfaccia utente del filato durante l'esecuzione di mapreduce il lavoro hadoop?

Question

Sto usando Hadoop2.2. Vedo che i miei lavori sono completati con successo. Posso sfogliare il filesystem per trovare l'output. Tuttavia, quando cerco http://NNode:8088/cluster/apps, non riesco a vedere nessuna delle applicazioni che sono state completate fino ad ora (ho eseguito 3 job con un conto, ma nessuno di essi è visto qui).

Ci sono delle configurazioni che devono essere prese in considerazione?

Ecco la yarn-site.xml

<property> 
     <name>yarn.resourcemanager.hostname</name> 
     <value>NNode</value> 
    </property> 
    <property> 
     <name>yarn.nodemanager.aux-services</name> 
     <value>mapreduce_shuffle</value> 
    </property> 
<!-- 
    <property> 
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> 
    <value>org.apache.hadoop.mapred.ShuffleHandler</value> 
    </property> 
--> 

Qui è mapred-site.xml:

<property> 
     <name>mapreduce.framework.name</name> 
     <value>yarn</value> 
    </property> 

ho server storico di processo in esecuzione troppo:

jps 
4422 NameNode 
5452 Jps 
4695 SecondaryNameNode 
4924 ResourceManager 
72802 Jps 
5369 JobHistoryServer 

Answer 1

Al termine delle applicazioni, la loro responsabilità potrebbe essere spostata su Job History Server. Quindi controlla l'URL Job History Server. Normalmente ascolta sulla porta 19888. Per esempio.

http://<job_history_server_address>:19888/jobhistory

directory log e le durate log trattenere sono configurabili in yarn-site.xml. Con YARN, anche uno può aggregare i registri in un'unica posizione (configurabile).

A volte, anche se l'applicazione è elencata, i registri non sono disponibili (non sono sicuro che sia dovuto a qualche errore in YARN). Tuttavia, quasi ogni volta che sono stato in grado di ottenere i registri utilizzando riga di comando: i registri

filato -applicationId the_application_id

Athough ci sono diverse opzioni. Utilizzare la guida per i dettagli:

ceppi filati --help

Answer 2

è possibile fare riferimento Hadoop is not showing my job in the job tracker even though it is running

    conf.set("fs.defaultFS", "hdfs://master:9000"); 
        conf.set("mapreduce.jobtracker.address", "master:54311"); 
        conf.set("mapreduce.framework.name", "yarn"); 
        conf.set("yarn.resourcemanager.address", "master:8032"); 

ho provato nella mia cluster. Funziona!