hdfs

5calore

1risposta

Problema di dimensione del blocco di Hadoop e dimensione del file?

Questa potrebbe sembrare una domanda stupida ma in Hadoop supponiamo che il blocco sia X (in genere 64 o 128 MB) e un file locale sia Y (dove Y è minore di X). Ora quando copio il file Y sull'HDFS lo

12calore

5risposta

Trasferimento file da HDFS

Desidero trasferire file da HDFS al filesystem locale di un server diverso che non si trova in cluster hadoop ma nella rete. avrei potuto fare: hadoop fs -copyToLocal <src> <dest> and then scp/ftp <t

7calore

2risposta

file di Copia da HDFS al computer locale

Sto avendo un problema con il tentativo di "scaricare" file dal file system HDFS al mio sistema locale. (Anche se operazione inversa funziona senza un problema). * Nota: Il file esiste sul file HDFS s

16calore

3risposta

Grande dimensione del blocco in HDFS! Come viene contabilizzato lo spazio inutilizzato?

Sappiamo tutti che la dimensione del blocco in HDFS è piuttosto grande (64 M o 128 M) rispetto alle dimensioni del blocco nei file system tradizionali. Questo viene fatto al fine di ridurre la percent

5calore

1risposta

Impossibile avviare i demoni utilizzando start-dfs.sh

Stiamo utilizzando la distribuzione cdh4-0.0 da cloudera. Non siamo in grado di avviare i daemon usando il comando sottostante. >start-dfs.sh Starting namenodes on [localhost] [email protected]'s pa

24calore

5risposta

Come trovare la dimensione di un file HDFS

Come trovare la dimensione di un file HDFS? Quale comando dovrebbe essere usato per trovare la dimensione di qualsiasi file in HDFS.

8calore

5risposta

in che modo hdf sceglie un datanode per memorizzare

Come indica il titolo, quando un client richiede di scrivere un file su hdf, come fa l'HDFS o il nodo nome a scegliere quale datanode memorizzare il file? Gli hdf cercano di memorizzare tutti i blocch

12calore

4risposta

C'è un modo per aggiungere nodi a un cluster Hadoop in esecuzione?

Ho giocato con Cloudera e definisco il numero di cluster prima di iniziare il mio lavoro, quindi uso il cloudera manager per assicurarmi che tutto sia in esecuzione. Sto lavorando a un nuovo progetto

9calore

4risposta

Ricerca di directory più vecchie di N giorni in HDFS

È possibile utilizzare hadoop fs -ls per trovare tutte le directory più vecchie di N giorni (dalla data corrente)? Sto cercando di scrivere una routine di pulizia per trovare ed eliminare tutte le dir

14calore

2risposta

Come forzare STORE (sovrascrittura) su HDFS in Pig?

Quando lo sviluppo di script di maiale che utilizzano lo STORE comando devo cancellare la directory di output per ogni corsa o lo script si ferma e offre: 2012-06-19 19:22:49,680 [main] ERROR org.apac