hdfs

12calore

3risposta

HDFS: come si elencano i file in modo ricorsivo?

Come è possibile, tramite Java, elencare tutti i file (in modo ricorsivo) in un determinato percorso in HDFS. Ho passato l'API e ho notato FileSystem.listFiles (Path, boolean) ma sembra che quel metod

7calore

2risposta

Memorizzazione dei risultati di UNION in PIG in un singolo file

Ho uno script PIG che produce quattro risultati Voglio memorizzarli tutti in un unico file. Provo a utilizzare UNION, tuttavia quando uso UNION ottengo quattro file part-m-00000, part-m-00001, part-m-

7calore

2risposta

Debug in PIG UDF

Sono nuovo di Hadoop/PIG. Ho una domanda di base. Abbiamo una funzione di registrazione in PIG UDF? Ho scritto un UDF che ho bisogno di verificare Ho bisogno di registrare alcune dichiarazioni per con

7calore

2risposta

javax.management.InstanceAlreadyExistsException quando si utilizza hadoop MiniDFSCluster

Sto usando MiniDFSCluster per eseguire i test di junit. Ora inizio e chiudo il cluster, la junit è verde. Ma ottengo questa eccezione: javax.management.InstanceAlreadyExistsException: MXBean already r

5calore

1risposta

Recuperare Hadoop NameNode mancata

Scenario 1: Il fsimage HDFS e editlog è scritto in più luoghi, tra cui un montaggio NFS. A) NameNode Daemon Crash: Soluzione: Basta riavviare il processo di NameNode B) Host è giù in cui il nome del n

7calore

4risposta

HDFS vs GridFS: quando usare quale?

HDFS e GridFS sono due ottime tecnologie per il salvataggio di file distribuiti, ma quali sono le loro differenze? Che tipo di problemi si adattano meglio a ciascuno?

5calore

1risposta

Aggiornamento di un file HDFS hadoop

Sono un principiante di Hadoop. Ho letto che HDFS riguarda principalmente "scrivere una volta, leggere ogni volta". Ho un caso d'uso in cui potrei dover apportare modifiche ai file memorizzati in HDFS

7calore

3risposta

Come funziona HDFS con append

Supponiamo che si stia utilizzando una dimensione di blocco predefinita (128 MB) e che ci sia un file che utilizza 130 MB; quindi utilizzando un blocco full size e un blocco con 2 MB. Quindi è necessa

5calore

2risposta

qual è la procedura migliore per il pooling delle connessioni JDBC di Hive

Sto utilizzando il driver JDBC di Hive per eseguire query SQL come il mio archivio dati HDFS. Ho cercato di utilizzare c3p0 per gestire il pool di connessioni. Non sono così sicuro che sia l'approccio

7calore

1risposta

Differenze tra hflush e hsync api in HDFS

Qualcuno può evidenziare i dettagli tecnici e quando usare quale.