hdfs

5calore

5risposta

Dove si trova il nodo Nome archivio fsImage e modifica registro?

Sono un programmatore java, sto imparando Hadoop. Ho letto che il nodo Nome in HDFS memorizza le sue informazioni in due file cioè fsImage & editLog. In caso di avvio legge questi dati dal disco & ese

15calore

3risposta

come aggiungere l'utente in supergruppo di hdf in linux?

Stavo lavorando su hdf quindi ho trovato qualcosa che i controlli delle autorizzazioni non vengono eseguiti per il super-utente. Se il mio utente linux è sabbioso e voglio aggiungere sabbioso al grupp

5calore

1risposta

Hadoop fsck mostra le repliche mancanti

Sto eseguendo il cluster Hadoop 2.2.0 con due datanode e un namenode. Quando provo controllare il sistema utilizzando il comando Hadoop fsck su NameNode o una qualsiasi delle datanodes, ottengo il seg

6calore

3risposta

Hadoop: File HDFS Scrive & Legge

Ho una domanda di base riguardanti il file scrive e legge in HDFS. Per esempio, se sto scrivendo un file, utilizzando le configurazioni di default, Hadoop ha al suo interno di scrivere ogni blocco a

5calore

1risposta

Come vengono scritti i dati su HDFS?

Sto cercando di capire come viene gestita la scrittura dei dati in HDFS leggendo hadoop-2.4.1 documentation. secondo il seguente schema: ogni volta che un cliente scrive qualcosa di HDFS, non ha alcun

11calore

2risposta

Come aggiungere a un file hdfs su un cluster estremamente piccolo (3 nodi o meno)

Sto tentando di aggiungere un file su un hdf su un cluster a nodo singolo. Ho anche provato un cluster a 2 nodi, ma ho le stesse eccezioni. In HDFS loco, devo dfs.replication set a 1. Se ho impostato

5calore

1risposta

Hadoop - FileSystem.listFiles - non sfogliare le directory

sto guardando questo metodo: FileSystem.listFiles(Path f, boolean recursive) Elenco gli stati e le posizioni di blocco dei file nel percorso specificato. Se il percorso è una directory, se ricorsivo è

9calore

9risposta

Configurazione errata: indirizzo namenode dfs.namenode.rpc-indirizzo non configurato

Viene visualizzato questo errore quando si tenta di avviare un DataNode. Da quello che ho letto, i paramter RPC sono usati solo per una configurazione HA, che non sto configurando (credo). 2014-05-18

5calore

3risposta

Copia ed estrae file da s3 a HDFS

Voglio copiare il file test.tar.gz da S3 a HDFS. Questo può essere fatto da distcp o s3distcp. Ma il mio requisito è quando trasferisco i file su HDFS dovrebbe essere estratto al volo e in HDFS dovrei

7calore

1risposta

Scrittura e lettura di array di byte grezzi in Spark - utilizzando Sequence File SequenceFile

Come si scrive RDD[Array[Byte]] in un file utilizzando Apache Spark e lo si legge di nuovo?