mapreduce

17calore

2risposta

Come funziona esattamente il partizionamento in MapReduce?

Penso di avere una buona comprensione del modello di programmazione MapReduce in generale, ma anche dopo aver letto la carta originale e alcune altre fonti molti dettagli non sono chiari, specialmente

10calore

3risposta

accumulatore non riesce in cluster, lavora a livello locale

nella documentazione ufficiale scintilla, c'è un esempio per un accumulatore che viene utilizzato in una chiamata foreach che è direttamente su un RDD: scala> val accum = sc.accumulator(0) accum: spa

9calore

1risposta

Lettura del file come record singolo in hadoop

Ho grandissimo n. di file di piccole dimensioni, voglio utilizzare CombineFileInputFormat per unire i file in modo tale che ogni dato di file abbia un unico record nel mio lavoro MR. Ho seguito http:/

21calore

7risposta

Pig vs Hive vs Native Map Riduci

Ho una conoscenza di base su cosa sono le astrazioni Pig, Hive. Ma non ho un'idea chiara sugli scenari che richiedono una riduzione di Hive, Pig o di mappe native. Ho esaminato alcuni articoli che in

6calore

1risposta

Hadoop Numero conteggio dei maiali

Sto imparando come usare Hadoop Pig ora. Se ho un file di input come questo: a,b,c,true s,c,v,false a,s,b,true ... L'ultimo campo è quello che ho bisogno di contare ... Quindi voglio sapere quant

10calore

3risposta

Come importare un modulo personalizzato in un lavoro MapReduce?

ho un lavoro MapReduce definito main.py, che importa il modulo lib da lib.py. Io uso Hadoop streaming di presentare questo lavoro al cluster Hadoop come segue: hadoop jar /usr/lib/hadoop-mapreduce/had

5calore

1risposta

Come implementare l'ordinamento in hadoop?

Il mio problema è l'ordinamento dei valori in un file. Le chiavi e i valori sono numeri interi e devono mantenere le chiavi dei valori ordinati. key value 1 24 3 4 4 12 5 23 uscita: 1 24 5

11calore

5risposta

Come vengono suddivisi i dati in Hadoop

L'Hadoop suddivide i dati in base al numero di mapper impostati nel programma? Cioè, avendo un set di dati di dimensioni 500 MB, se il numero di mappatori è 200 (supponendo che il cluster Hadoop conse

13calore

2risposta

qual è la differenza fondamentale tra jobconf e job?

ciao volevo sapere la differenza fondamentale tra jobconf e lavoro oggetti, attualmente Sto presentando il mio lavoro come questo JobClient.runJob(jobconf); ho visto altro modo di presentare i lavor

5calore

1risposta

Pig java.lang.NoSuchFieldException: jobsInProgress exception

Sto usando pig-0.11.0 + 28 con CDH4 e quando eseguo qualsiasi lavoro Pig, ottengo questa eccezione. Accade anche in modalità locale. Qualche idea? 2013-07-08 13:53:44,035 [main] WARN org.apache.pig.ba