mapreduce

12calore

2risposta

riutilizzare JVM in Hadoop mapreduce jobs

So che possiamo impostare la proprietà "mapred.job.reuse.jvm.num.tasks" per riutilizzare JVM. Le mie domande sono: (1) come decidere il numero di attività da impostare qui, -1 o altri numeri interi po

31calore

1risposta

Cosa sono i file SUCCESS e part-r-00000 in hadoop

Sebbene utilizzi Hadoop frequentemente sulla mia macchina Ubuntu, non ho mai pensato ai file e part-r-00000. L'output risiede sempre nel file part-r-00000, ma a che cosa serve il file SUCCESS? Perché

5calore

3risposta

In MongoDB driver java Scopo del comando Mapreduce; aggiungere funzioni a Scope

È un modo per eseguire una mappa MongoDB ridurre il lavoro tramite il driver java in cui si crea un oggetto DBObject che contiene funzioni. Posso eseguire la mia mappa ridurre la configurazione in jav

6calore

7risposta

Esegui una directory di file system locale come input di un Mapper nel cluster

Ho dato un input al programma di mappatura da un filesystem locale. Viene eseguito correttamente da eclipse, ma non viene eseguito dal cluster poiché non è in grado di trovare l'input locale percorso

6calore

5risposta

esegue il software Hadoop sui computer dell'ufficio (quando sono inattivi)

Esiste un progetto che aiuti a configurare un cluster Hadoop sui desktop dell'ufficio, quando sono inattivi? Mi piacerebbe sperimentare con Hadoop/MR/hbase ma non ho accesso a 5-10 computer. I compute

17calore

5risposta

metodi di impostazione e pulizia di Mapper/Reducer in Hadoop MapReduce

I metodi di installazione e pulizia sono richiamati rispettivamente in ciascuna attività di mappatura e di riduzione? Oppure vengono chiamati solo una volta all'inizio dei lavori globali di mapper e r

21calore

5risposta

Hadoop MapReduce fornire le directory nidificate come input di lavoro

Sto lavorando a un lavoro che elabora una struttura di directory annidata, contenente i file su più livelli: one/ ├── three/ │ └── four/ │ ├── baz.txt │ ├── bleh.txt │ └── foo.txt └──

16calore

2risposta

Classe “Combiner" in un lavoro MapReduce

un combinatore viene eseguito dopo il Mapper e prima del riduttore, riceverà come input i dati emessi dai istanze Mapper su un dato nodo. Poi emette in uscita ai riduttori. e inoltre, se una funzione

9calore

2risposta

Funzionamento di RecordReader in Hadoop

Qualcuno può spiegare come funziona realmente il RecordReader? Come funzionano i metodi nextkeyvalue(), getCurrentkey() e getprogress() dopo l'avvio del programma?

17calore

1risposta

Algoritmo di coefficiente di clustering locale distribuito (MapReduce/Hadoop)

Ho implementato il paradigma MapReduce basato su local clustering coefficient algorithm. Tuttavia ho incontrato serie difficoltà per dataset più grandi o set di dati specifici (alto grado medio di un