Come interpretare MapReduce contatori di Performance

Question

Per essere più precisi:

1. In contatori di attività, la CPU speso da proc/utime + STIME di stat, quindi significa cose come IOWait non saranno conteggiati. È giusto?
2. Il tempo trascorso per l'intera attività è molto più lungo del tempo impiegato dalla CPU, significa che il nodo è molto occupato e il contenitore non riceve la CPU o attende l'I/O per un tempo molto lungo?
3. Come posso sapere se un'attività è vincolata alla CPU o il conteggio I/O solo dal contatore?

Answer 1

'CPU_MILLISECONDS' da banco possono dare informazioni - Tempo totale trascorso da tutte le attività sulla CPU.

'REDUCE_SHUFFLE_BYTES' maggiore è il numero, maggiore è l'utilizzo n/w. (molte più opzioni disponibili come questa)

Ci sono 4 categorie di contatori in Hadoop: file system, lavoro, framework e personalizzato.

È possibile utilizzare i contatori integrati per convalidare che:

1.The correct number of bytes was read and written 
2.The correct number of tasks was launched and successfully ran 
3.The amount of CPU and memory consumed is appropriate for your job and cluster nodes 
4.The correct number of records was read and written 

maggiori informazioni avalible @https://www.mapr.com/blog/managing-monitoring-and-testing-mapreduce-jobs-how-work-counters#.VZy9IF_vPZ4 (** Credits- mapr.com)