mapreduce

5calore

2risposta

Ho ottenuto un MongoDB piuttosto grande di cui ho bisogno per estrarre statistiche e compro questo acquisto eseguendo una query Riduci mappa. Il problema ora è che ho bisogno di restringere la query p

8calore

3risposta

Configurazione Hadoop: mapred. * Vs mapreduce. *

Ho notato che ci sono due set di parametri di configurazione Hadoop: uno con mapred. * E l'altro con mapreduce. . Immagino che questi potrebbero essere dovuti alla vecchia API e alla nuova API, ma se

12calore

1risposta

Qual è il modo migliore per eseguire Map/Reduce su dati da Mongo?

Ho un grande database Mongo (100 GB) ospitato nel cloud (MongoLab o MongoHQ). Vorrei eseguire alcune attività di Map/Reduce sui dati per calcolare alcune statistiche costose e mi chiedevo quale sia il

9calore

3risposta

Hadoop: come funziona OutputCollector durante MapReduce?

Desidero sapere se l'output di "istanza" di OutputCollector utilizzato nella funzione mappa: output.collect (chiave, valore) questo -output- sta memorizzando le coppie di valori chiave da qualche part

18calore

5risposta

MongoDB MapReduce - emettere una chiave/valore di uno pretende molto chiamare ridurre

Quindi io sono nuovo con MongoDB e MapReduce in generale e mi sono imbattuto in questo "capriccio" (o almeno nella mia mente un capriccio) Dire che ho oggetti nella mia collezione in questo modo: { 'c

6calore

3risposta

Valori di riduzione Hadoop in memoria?

Sto scrivendo un lavoro MapReduce che può finire con un enorme numero di valori nel riduttore. Sono preoccupato che tutti questi valori vengano caricati in memoria contemporaneamente. L'implementazion

11calore

3risposta

Hadoop: chiave e valore sono separati da tabulazione nel file di output. come si fa a separare il punto e virgola?

Penso che il titolo stia già spiegando la mia domanda. Vorrei cambiare key (tab space) value in key;value in tutti i file di output i riduttori stanno generando dall'uscita del mapper. Non sono ri

8calore

5risposta

Quando si utilizza HBase come sorgente per MapReduce, è possibile estendere TableInputFormatBase per creare più suddivisioni e più mapper per ciascuna regione?

Sto pensando di utilizzare HBase come sorgente per uno dei miei lavori MapReduce. So che TableInputFormat specifica una divisione di input (e quindi un mappatore) per Regione. Tuttavia, questo sembra

12calore

2risposta

È possibile avere più input con più mapper diversi in Hadoop MapReduce?

È possibile avere più ingressi con più mapper diversi in Hadoop MapReduce? Ogni classe di mappatori lavora su un diverso insieme di input, ma tutti emettono coppie chiave-valore consumate dallo stesso

8calore

2risposta

Hadoop - Scrittura in HBase direttamente dal Mapper

Ho un processo haddop che il suo output dovrebbe essere scritto in HBase. Non ho davvero bisogno di riduttore, il tipo di riga che vorrei inserire è determinato nel Mapper. Come posso utilizzare Table