hdfs

5calore

2risposta

Rapporto tra HDFS, HBase, Pig, Hive e Azkaban?

Sono un po 'nuovo per Apache Hadoop. Ho visto le domande this e this su Hadoop, HBase, Pig, Hive e HDFS. Entrambi descrivono il confronto tra le tecnologie di cui sopra. Ma, ho visto che, in genere un

6calore

2risposta

Numero predefinito di riduttori

In Hadoop, se non è stato impostato il numero di riduttori, quanti quanti riduttori verranno creati? Un numero simile di mapper dipende da (dimensione dati totale)/(dimensione di divisione dell'input)

6calore

3risposta

hdfs dfs -put con sovrascrittura?

Sto usando hdfs dfs -put myfile mypath e per alcuni file ottengo put: 'myfile': File Exists vuol dire che c'è un file con lo stesso nome o vuol dire lo stesso file esatto (dimensioni, contenuti) è

5calore

1risposta

file Concat Avro utilizzando Avro-tools

nel tentativo di unire file Avro in un unico file, il problema è concat comando non accetta il carattere jolly hadoop jar avro-tools.jar concat /input/part* /output/bigfile.avro ottengo: Exception i

6calore

2risposta

Richiesta client alta disponibilità Namenode

Qualcuno può dirmi che Se sto usando l'applicazione java per richiedere alcune operazioni di upload/download di file su HDFS con l'installazione HA Namenode, Dove questa richiesta va prima? Voglio dir

6calore

3risposta

Cluster Hadoop a più nodi con finestra mobile

Sono in fase di pianificazione di un cluster multivoda Hadoop in un ambiente basato su Docker. Quindi dovrebbe essere basato su un sistema virtualizzato leggero e facile da usare. L'architettura corre

11calore

2risposta

Hadoop: ... essere replicato su 0 nodi invece di minReplication (= 1). Ci sono 1 DataNode (s) in esecuzione e nessun nodo (s) sono esclusi in questa operazione

sto ottenendo il seguente errore durante il tentativo di scrivere a HDFS come parte della mia applicazione multi-threaded could only be replicated to 0 nodes instead of minReplication (=1). There are

13calore

1risposta

Esiste un comando hdfs per elencare i file nella directory HDFS come da timestamp

Esiste un comando hdfs per elencare i file nella directory HDFS come timestamp, in ordine crescente o decrescente? Per impostazione predefinita, il comando hdfs dfs -ls fornisce un elenco non ordinato

6calore

1risposta

Sostituisci HDFS modulo disco locale a s3 ricevendo errore (org.apache.hadoop.service.AbstractService)

Stiamo provando a impostare Cloudera 5.5 dove HDFS lavorerà su s3 solo per il fatto che abbiamo già configurato le proprietà necessarie in Core- site.xml <property> <name>fs.s3a.access.key</name>

5calore

1risposta

Spark Filati Architettura

avevo una domanda per quanto riguarda questa immagine in un tutorial che stavo seguendo. Quindi, basandosi su questa immagine in un'architettura basata su filato, l'esecuzione di un'applicazione spark