In Hadoop è possibile utilizzare il meccanismo di ordinamento secondario per ordinare i valori prima che vengano inviati al riduttore.Quale classe chiave è adatta per l'ordinamento secondario?
Il modo in cui viene eseguito in Hadoop è che si aggiunge il valore per l'ordinamento in base alla chiave e quindi alcuni metodi di confronto di gruppi e chiavi personalizzati che si agganciano al sistema di ordinamento.
Quindi è necessario disporre di una chiave che consiste essenzialmente nella chiave reale e nel valore da ordinare. Per fare in modo che ciò avvenga abbastanza velocemente ho bisogno di un modo per creare una chiave composita che sia anche facile da decomporre nelle parti separate necessarie per i metodi di confronto di gruppo e chiave.
Qual è il modo più intelligente per farlo. Esiste una classe Hadoop "pronta all'uso" che può aiutarmi in questo o devo creare una classe chiave separata per ogni fase di riduzione della mappa?
Come faccio se il tasto è effettivamente un composito costituito da più parti (necessario anche separatamente a causa del partizionatore)?
Cosa raccomandate voi ragazzi?
P.S. Volevo aggiungere il tag "secondary-sort" ma non ho ancora abbastanza rep per farlo.
ci vai tu (ho aggiunto il tag) :-) –
Grazie per aver aggiunto il tag :) –
Non hai capito la tua domanda, ti dispiacerebbe aggiungere un breve esempio? – Sudarshan