Ho scaricato hadoop
codice sorgente da github e compilato con l'opzione native
:Hadoop librerie native non trovato su OS/X
mvn package -Pdist,native -DskipTests -Dtar -Dmaven.javadoc.skip=true
Poi ho copiato le lime .dylib
al $ HADOOP_HOME/lib
cp -p hadoop-common-project/hadoop-common/target/hadoop-common-2.7.1/lib/native/*.dylib /usr/local/Cellar/hadoop/2.7.2/libexec/share/hadoop/lib
La LD_LIBRARY_PATH è stato aggiornato e HDFS riavviato:
echo $LD_LIBRARY_PATH
/usr/local/Cellar/hadoop/2.7.2/libexec/lib:
/usr/local/Cellar/hadoop/2.7.2/libexec/share/hadoop/common/lib:/Library/Java/JavaVirtualMachines/jdk1.8.0_92.jdk/Contents/Home//jre/lib
(Nota: questo significa anche che la risposta a Hadoop “Unable to load native-hadoop library for your platform” error on docker-spark? non funziona per me ..)
Ma checknative
restituisce ancora uniformemente false
:
$stop-dfs.sh && start-dfs.sh && hadoop checknative
16/06/13 16:12:32 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Stopping namenodes on [sparkbook]
sparkbook: stopping namenode
localhost: stopping datanode
Stopping secondary namenodes [0.0.0.0]
0.0.0.0: stopping secondarynamenode
16/06/13 16:12:50 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
16/06/13 16:12:50 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Starting namenodes on [sparkbook]
sparkbook: starting namenode, logging to /usr/local/Cellar/hadoop/2.7.2/libexec/logs/hadoop-macuser-namenode-sparkbook.out
localhost: starting datanode, logging to /usr/local/Cellar/hadoop/2.7.2/libexec/logs/hadoop-macuser-datanode-sparkbook.out
Starting secondary namenodes [0.0.0.0]
0.0.0.0: starting secondarynamenode, logging to /usr/local/Cellar/hadoop/2.7.2/libexec/logs/hadoop-macuser-secondarynamenode-sparkbook.out
16/06/13 16:13:05 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
16/06/13 16:13:05 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Native library checking:
hadoop: false
zlib: false
snappy: false
lz4: false
bzip2: false
openssl: false
come/dove hai trovato sono stati richiesti i dettagli che indicano la patch sopra si prega di aggiornare la risposta con quella, così come l'url (o informazioni come navigare all'url) per il? patch – javadba
@javadba La patch proviene da molti h il nostro di leggere il codice, aggiungendo le istruzioni di output di debug, ricompilando e riprovando ... – andrewdotn
Quindi è *** la tua patch *** .. beh, questo mi fa sentire meglio per avere * punted * al momento in cui è venuto fuori. – javadba