mapreduce

7calore

3risposta

In Hadoop, dove il framework salva l'output dell'attività della mappa in una normale applicazione di riduzione della mappa?

Sto cercando di scoprire dove viene salvato l'output di un'attività Mappa su disco prima che possa essere utilizzato da un'attività Riduci. Nota: - versione utilizzata è Hadoop 0.20.204 con la nuova A

java hadoop mapreduce cluster-computing cloudera 2011-12-22

---

12calore

2risposta

La classe Hadoop JobConf è obsoleta, è necessario un esempio aggiornato

Sto scrivendo programmi hadoop e non desidero giocare con classi obsolete. ovunque online non sono in grado di trovare i programmi con aggiornato org.apache.hadoop.conf.Configuration classe posto dell

hadoop mapreduce cloudera 2011-12-22

---

5calore

3risposta

Come imparo a utilizzare le risorse di comunione Java?

Titolo strano, lo so, lasciatemi spiegare. Sono uno sviluppatore più familiare con C# e Javascript. Sono completamente immerso in quei mondi semi-funzionali al punto che gran parte del mio codice rigu

java mapreduce apache-commons-collection 2011-12-28

---

22calore

3risposta

Hive grado di impostare manualmente dei riduttori

ho la seguente interrogazione alveare: select count(distinct id) as total from mytable; che genera automaticamente: 1408 mappatori 1 riduttore devo impostare manualmente il numero di riduttori e ho

hadoop mapreduce hive 2012-01-06

---

8calore

3risposta

Mapreduce for dummies

Ok, sto cercando di imparare Hadoop e mapreduce. Voglio davvero iniziare con mapreduce e ciò che trovo sono molti, molti esempi semplificati di mapper e riduttori, ecc. Tuttavia, ho visto mancare qual

hadoop mapreduce 2012-01-12

---

5calore

1risposta

Quale sarebbe una buona applicazione per una versione migliorata di MapReduce che condivide le informazioni tra i Mapper?

Sto costruendo un miglioramento del framework Spark (http://www.spark-project.org/). Spark è un progetto di UC Berkeley che MapReduce rapidamente nella RAM. Spark è costruito in Scala. Il migliorament

scala hadoop machine-learning mapreduce computer-vision 2012-01-12

---

5calore

1risposta

Hadoop genera ClassCastException per il tipo di chiave di java.nio.ByteBuffer

Sto utilizzando "hadoop-0.20.203.0rc1.tar.gz" per la configurazione del mio cluster. Ogni volta che ho impostato job.setMapOutputKeyClass(ByteBuffer.class); ed eseguire il processo ottengo seguente ec

hadoop mapreduce bytebuffer hadoop-streaming 2012-01-13

---

6calore

1risposta

Come eseguire l'hive eseguire lavori di ridisegno simultaneo?

Sono nuovo di alveare e ho riscontrato un problema, Ho una tabella in alveare come questo: create table td(id int, time string, ip string, v1 bigint, v2 int, v3 int, v4 int, v5 bigint, v6 int) PARTIT

hadoop mapreduce hive 2012-01-15

---

6calore

1risposta

Posso forzare i miei riduttori (fase di copia) ad avviarsi solo quando tutti i mappatori sono completati

Ho un lavoro hadoop con una fase di mappa piuttosto lunga e voglio che altri lavori corti vengano eseguiti in priorità. Per questo ho impostato la priorità del mio lavoro lungo con hadoop job -set-pri

configuration hadoop mapreduce hadoop-streaming 2012-01-16

---

5calore

2risposta

Hadoop MapReduce - un file di output per ciascun input

Sono nuovo di Hadoop e sto cercando di capire come funziona. Per quanto riguarda un esercizio dovrei implementare qualcosa di simile a WordCount-Example. L'attività consiste nel leggere diversi file,

java hadoop mapreduce 2012-01-16

---