quando viene utilizzato un mappatore/riduttore di identità?

Question

Ho avuto due dubbi concettuali legate alla MapReduce e hadoop.I conoscere un semplice programma di MapReduce un'iterazione, sapere che cos'è un mapper, riduttore, shuffler è .. Ma ancora voglia di conoscere le seguenti domande

1) quando si riduce la mappa iterativa?

2) so che mapper/riduttore di identità fornisce la stessa uscita dell'input di alimentazione. Ma quando usiamo un mappatore/riduttore di identità?

Answer 1

1) Un esempio di un algoritmo MR iterativo è l'algoritmo del percorso più breve di Dijkstra. Ad ogni iterazione vengono esplorati i vicini più vicini di tutti i nodi attivi, la fase di riduzione viene utilizzata per verificare se il nodo di destinazione è già stato raggiunto. Altri esempi sono gli amici di amici di Facebook (FoF) per trovare l'algoritmo di suggerire nuovi amici.

2) Un mapper identità viene utilizzato può essere utilizzato (tra gli altri!) Se si vuole solo sorta il vostro input. Un riduttore di identità può essere utilizzato ad esempio per implementare gli algoritmi in modo imbarazzante in cui si utilizzano solo i mappatori per eseguire le attività parallele ma si desidera che le coppie di valori chiave di uscita vengano ordinate.

Spero che questo ti abbia messo sulla buona strada.

Si noti che oltre al riduttore di identità è anche possibile impostare NO riduttore (quindi l'output della mappa non è ordinato).