Un lavoro di ridimensionamento della mappa con input di testo normale e output avro

Question

Sono abbastanza confuso sull'uso di Avro con la mappa ridotta e non riesco a trovare le esercitazioni migliori da seguire.

Sembra che le classi come AvroJob e AvroMapper siano orientate a problemi quando sia l'input che l'output sono file di dati Avro. Che dire quando il tuo input è solo testo?

In particolare:

mio mapper prende le chiavi LongWritable ei valori di testo come input. Emette i tasti di testo e i valori di MyAvroRecord.

Il mio riduttore accetta i tasti di testo e un Iterator di MyAvroRecords come input ed emette i valori dei tasti di testo e MyAvroRecord.

Come si ottiene un OutputFormat che dovrebbe scrivere i valori di questi tasti di testo e MyAvroRecord su file?

Acclamazioni, Dave

Answer 1

Ok, così ho capito questo.

Piuttosto che un mappatore che emette valori di tasti di testo e valori MyAvroRecord, ne avevo bisogno uno che producesse i tasti AvroKey e AvroValue. Era in grado di alimentare i suoi risultati direttamente su un AvroReducer, e potevo semplicemente usare AvroJob.setOutputSchema() per gestire l'output (non avevo affatto bisogno di implementare un OutputFormat).

Answer 2

Un altro modo per avvicinarsi può essere: l'output del mapper non deve essere AvroKey e AvroValue. Possono essere i tuoi tipi di output generali, che diventano input per il tuo riduttore. In reducer possiamo fare la conversione di Avro. Impostando il tipo Outputformat su Avro.

saluti, Sujoy