Cosa significa tempo CPU per un lavoro Hadoop?

Question

Ho paura di non capire i risultati dei tempi di un lavoro di riduzione della mappa. Ad esempio, un lavoro che sto eseguendo mi dà i seguenti risultati dal tracker di lavoro.

finito in: 1mins, 39sec tempo

CPU trascorso (ms) 150.460 152.030 302.490

Le voci nel tempo di CPU trascorso (ms) sono per Map, ridurre e Total, rispettivamente. Ma, allora, come viene misurato il "tempo CPU trascorso" e cosa significa? È questo il tempo totale cumulativo trascorso in ciascuno dei mappatori e riduttori assegnati per il lavoro? E 'possibile misurare altre volte dal framework come il tempo per shuffle, sort, partition etc? Se é cosi, come?

Una seconda domanda che mi dà fastidio. Ho visto alcuni post qui (Link1, Link2), che consigliamo di utilizzare getTime() nella classe del driver:

long start = new Date().getTime(); 
boolean status = job.waitForCompletion(true); 
long end = new Date().getTime(); 
System.out.println("Job took "+(end-start) + "milliseconds"); 

Non è questo a fare quello che la prima voce in uscita Job Tracker fornisce in ogni caso? È necessario? Qual è il modo migliore per cronometrare un job hadoop, specialmente quando voglio time time, tempo di calcolo per nodo/per stage?

Answer 1

La fase della mappa è composta da: lettore di record, mappa, combinatore e partizionatore.

La fase di riduzione consiste in: shuffle, sort, reduce, output.

Il tempo della CPU visualizzato è dell'intera fase della mappa e dell'intera fase di riduzione ... non solo la funzione stessa. Questo è un po 'di terminologia confusa perché hai la funzione mappa e riduci la funzione, che sono solo una parte della mappa fase e riduci la fase. Questo è il tempo totale della CPU su tutti i nodi nel cluster.

Il tempo di CPU è estremamente diverso in tempo reale. Il tempo della CPU è quanto tempo speso per le CPU, mentre il tempo reale è quello che io e te sperimentiamo come umani. Pensa a questo: supponi di avere lo stesso lavoro in esecuzione sugli stessi dati ma su un cluster a 20 nodi, quindi su un cluster a 200 nodi. Nel complesso, verrà utilizzata la stessa quantità di tempo CPU su entrambi i cluster, ma il cluster a 200 nodi verrà eseguito 10 volte più velocemente in tempo reale. Il tempo della CPU è una metrica utile quando si ha un sistema condiviso con molti lavori in esecuzione contemporaneamente.

Non so come approfondiresti per ottenere il tempo di CPU in ciascuna fase. L'uso di un timer per la data non è probabilmente quello che stai cercando.