Dove è impostato il percorso di classe per hadoop

Question

Dove si trova il percorso di classe per hadoop impostato? Quando eseguo il comando seguente, mi dà il classpath. Dove è impostato il classpath?

bin/hadoop classpath 

sto utilizzando Hadoop 2.6.0

Answer 1

Come detto da Almas Shaikh è ambientato in hadoop-config.sh, ma si potrebbero aggiungere altri vasi ad essa in hadoop-env.sh

Ecco un codice corrispondente da hadoop-env.sh che aggiunge ulteriori jar come Capacity-Scheduler e Aws jar.

export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-"/etc/hadoop"} 

# Extra Java CLASSPATH elements. Automatically insert capacity-scheduler. 
for f in $HADOOP_HOME/contrib/capacity-scheduler/*.jar; do 
    if [ "$HADOOP_CLASSPATH" ]; then 
    export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$f 
    else 
    export HADOOP_CLASSPATH=$f 
    fi 
done 

# ... some other lines omitted 

# Add Aws jar 
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:share/hadoop/tools/lib/* 

Answer 2

Come per this blog post, è in una variabile di ambiente denominata HADOOP_CLASSPATH. Puoi impostarlo come faresti con qualsiasi altra variabile d'ambiente, le cui specifiche dipendono dalla shell che usi. Se si utilizza bash, è possibile chiamare come export HADOOP_CLASSPATH=/path/to/wherever:/path/to/wherever/else.

Answer 3

Quando si esegue hadoop comando, Le fonti di un file che risiede in hadoop-config.sh$HADOOP_HDFS_HOME/libexec che imposta classpath (CLASSPATH) con la scelta di vasi residenti in varie directory vale a dire.

$HADOOP_HDFS_HOME/share/hadoop/mapreduce 
$HADOOP_HDFS_HOME/share/hadoop/common 
$HADOOP_HDFS_HOME/share/hadoop/hdfs etc. 

Answer 4

Aprire il profilo di bash (~/.profile o ~/.bash_profile) per la modifica e aggiungere il seguente:

1. esportazioneHADOOP_HOME="/usr/local/Cellar/hadoop"poi Sostituire con il proprio percorso

2. esportazioneHADOOP_CLASSPATH=$(find $HADOOP_HOME -name '*.jar' | xargs echo | tr ' ' ':') Salva le modifiche e ricarica.

3. fonte~/.profile