hdfs

22calore

3risposta

Spark modalità Standalone: Come comprimere uscita scintilla scritto HDFS

correlati alla mia altra domanda, ma distinti: someMap.saveAsTextFile("hdfs://HOST:PORT/out") Se salvo l'RDD per HDFS, come posso dire scintilla per comprimere l'output con gzip ? In Hadoop, è possi

5calore

2risposta

Archivia immagini/video in Hadoop HDFS

Vorrei memorizzare alcuni video/immagini in Hadoop HDFS, ma ho sentito che HDFS accetta solo file come testo. Per sicurezza, possiamo archiviare video/immagini in HDFS? Se sì, qual è il modo o i passi

5calore

2risposta

Come trovare il numero ottimale di mapper durante l'importazione e l'esportazione di Sqoop?

Sto usando Sqoop versione 1.4.2 e database Oracle. Quando si esegue il comando Sqoop. Ad esempio come questo: ./sqoop import \ --fs <name node> \ --jt <job tracker> \

5calore

1risposta

Hadoop: impossibile impostare FileSystem predefinito come HDFS in core-site.xml

Sto utilizzando Hadoop 1.0.3 in modalità Pseudo-Distributed. E la mia conf/core-site.xml è impostato come segue: <configuration> <property> <name>fs.default.name</name> <value>hdfs://

12calore

2risposta

alto rendimento vs bassa latenza in HDFS

ho cercato di definire ciò che il throughput elevato vs bassa latenza significa in HDFS con parole mie, e si avvicinò con la seguente definizione: HDFS è ottimizzato per lotti di accesso di set di dat

9calore

2risposta

HDFS da Java - Indicazione degli utenti

Sono felicemente la connessione a HDFS e messa in vendita la mia home directory: Configuration conf = new Configuration(); conf.set("fs.defaultFS", "hdfs://hadoop:8020"); conf.set("fs.hdfs.impl", "o

8calore

4risposta

Fattore di replica ridotto HDFS

Ho ridotto il fattore di replica da 3 a 1, ma non vedo alcuna attività dal namenode o tra i datanode per rimuovere blocchi di file HDFS eccessivamente replicati. C'è un modo per monitorare o forzare i

7calore

1risposta

Modifica fattore di replica HDFS

Se il fattore di replica viene modificato nel cluster, ad esempio da 5 a 3 e il cluster viene riavviato, cosa succede ai vecchi blocchi di file? Saranno considerati come sovra replicati e cancellati o

6calore

2risposta

È possibile archiviare dati relazionali in hdf

Sto provando a convertire un'applicazione con database relazionale come backend. Posso archiviare anche i dati relazionali in HDFS?

8calore

3risposta

Esecuzione Map-Reduce lavoro su alcuni file/blocchi in HDFS

Prima di tutto, io sono nuovo a Hadoop :) Ho un grande insieme di dati di file compressi con gzip (TB di documenti in file compressi con gzip intorno alla dimensione del 100-500mb ciascuno). Fondament