hadoop2

7calore

1risposta

immagine dello spazio dei nomi e modificare il login

Dal libro "Hadoop The Definitive Guide", sotto il tema Namenodes e Datanodes si è detto che: NameNode gestisce lo spazio dei nomi file system. Mantiene la struttura del file system e i metadati per tu

6calore

2risposta

Le applicazioni non visualizzate nell'interfaccia utente del filato durante l'esecuzione di mapreduce il lavoro hadoop?

Sto usando Hadoop2.2. Vedo che i miei lavori sono completati con successo. Posso sfogliare il filesystem per trovare l'output. Tuttavia, quando cerco http://NNode:8088/cluster/apps, non riesco a veder

6calore

2risposta

Dipendenze Maven per Hadoop: MiniDFSCluster e MiniMRCluster

Voglio implementare un progetto di maven, che mi aiuta a testare un lavoro Hadoop MapReduce. Il mio problema più grande è la definizione delle dipendenze Maven per poter utilizzare le classi di test:

24calore

5risposta

Come posso accedere a S3/S3n da un'installazione Hadoop 2.6 locale?

Sto cercando di riprodurre un cluster Amazon EMR sul mio computer locale. A tal fine, ho installato il latest stable version of Hadoop as of now - 2.6.0. Ora vorrei accedere a un bucket S3, come facci

5calore

1risposta

Connessione rifiutata in Hbase Shell durante il collegamento di HBase a HDFS

Sto provando a connettere il mio HBase a HDFS. Ho il mio namenode hdf (bin/hdfs namenode) e datnode (/ bin/hdfs datanode) in esecuzione. Posso anche avviare il mio Hbase (sudo ./bin/start-hbase.sh) e

8calore

1risposta

pom.xml per Hadoop 2.6.0

Sto provando a implementare un'app => trova la temperatura massima dai dati meteorologici (esempio dal libro di Tom White Hadoop: Guida definitiva (terza edizione)) utilizzando Hadoop. Ho scaricato e

20calore

3risposta

Come specificare l'ID chiave di accesso AWS e la chiave di accesso segreta come parte di un URL sazon amazon

Sto passando le cartelle di input e output come parametri per mappare il programma di conteggio parole dalla pagina web. Ottenere sotto l'errore: HTTP Status 500 - Request processing failed; nested ex

10calore

2risposta

copyFromLocal: URISyntaxException inaspettato

sto cercando di copiare alcuni file dal mio hard disk a HDFS, sto usando questo comando hadoop fs -copyFromLocal /home/hduser/Pictures/Event\ ordering/* input/ E 'questa la sintassi corretta? PS: St

5calore

2risposta

I lavori Hadoop falliscono quando vengono inviati da utenti diversi dal filato (MRv2) o mappati (MRv1)

Sto eseguendo un cluster di test con MRv1 (CDH5) accoppiato con LocalFileSystem e l'unico utente che sono in grado di eseguire processi come è mappato (come mapred è l'utente che avvia i daemon di job

7calore

1risposta

filato non onora filato.nodemanager.resource.cpu-vcores

Sto usando Hadoop-2.4.0 e le mie configurazioni di sistema sono 24 core, 96 GB di RAM. Sto usando seguenti configurazioni mapreduce.map.cpu.vcores=1 yarn.nodemanager.resource.cpu-vcores=10 yarn.sche