hdfs

12calore

5risposta

LeaseExpiredException: Nessun errore di lease su HDFS

Sto provando a caricare dati di grandi dimensioni su HDFS e talvolta ricevo l'errore di seguito. qualche idea del perché? L'errore: org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.hdfs.server

5calore

1risposta

Gestione di hdf in modalità hasdoop pseudo-distribuita

Voglio fare alcuni calcoli con hadoop e mahout sulla mia macchina quad core, quindi sto usando hadoop in modalità pseudo-distribuita. Il problema è che lo spazio sul mio root drve è limitato, quindi c

42calore

5risposta

Differenza tra hadoop fs -put e hadoop fs -copyFromLocal

-put e -copyFromLocal sono documentati come identici, mentre la maggior parte degli esempi utilizza la variante verbose -copyFromLocal. Perché? Stessa cosa per -get e -copyToLocal

6calore

3risposta

HDFS distribuiti legge senza Map/Reduce

è possibile ottenere distribuiti legge da HDSF cluster utilizzando un client di HDFS su una macchina? Ho condotto un esperimento con un gruppo costituito da 3 nodi di dati (DN1, DN2, DN3). Poi ho eseg

7calore

5risposta

File piccoli e blocchi HDFS

Un blocco nel file system distribuito Hadoop memorizza più file di piccole dimensioni oppure un blocco memorizza solo un file?

5calore

1risposta

Differenza tra 'distcp' e 'distcp -update'?

Qual è la differenza tra hadoop distcp e hadoop distcp -update Entrambi avrebbero fatto lo stesso lavoro con solo una leggera differenza nel modo in cui li chiamiamo noi. Nessuno di questi sovrasc

12calore

1risposta

Importa dati da HDFS a HBase (cdh3u2)

Ho installato Hadoop e HBase cdh3u2. In hadoop ho un file sul percorso /home/file.txt. ha i dati come one,1 two,2 three,3 Voglio importare questo file in hbase. in quanto, il primo campo dovrebbe

7calore

2risposta

HDFS crittografa o comprime i dati durante l'archiviazione?

Quando ho messo un file in HDFS, ad esempio $ ./bin/hadoop/dfs -put /source/file input è il file compresso durante la memorizzazione? Il file è crittografato durante la memorizzazione? Esiste un'imp

19calore

4risposta

Hadoop copia una directory?

Esiste un'API HDFS in grado di copiare un'intera directory locale su HDFS? Ho trovato un'API per copiare i file ma ce n'è una per le directory?

14calore

3risposta

Fattore di replica HDFS

Quando sto caricando un file su HDFS, se imposto il fattore di replica su 1, il file si divide in una singola macchina o le divisioni dovrebbero essere distribuite a più macchine attraverso la rete? h