Come iniziare ad imparare hadoop

Question

Sono uno sviluppatore web. Ho esperienza in tecnologie Web come JavaScript, Jquery, Php, HTML. Conosco i concetti di base di C. Recentemente mi ero interessato a saperne di più su mapreduce e hadoop. Così mi sono iscritto all'elaborazione parallela dei dati nel corso di mapreduce nella mia università. Dal momento che non ho alcuna conoscenza di programmazione precedente in qualsiasi linguaggio orientato agli oggetti come Java o C++, come dovrei fare per imparare a ridurre la mappa e ad abbandonare. Ho iniziato a leggere Yahoo hadoop tutorial e anche OReilly's Hadoop The Definitive Guide 2nd.Edition.

Mi piacerebbe che voi ragazzi mi suggeriate dei modi in cui potrei imparare a imparare a mapreduce e hadoop.

Answer 1

È possibile accedere a Hadoop da molte lingue diverse e un certo numero di risorse istituito Hadoop per voi. Potresti provare l'Elastic MapReduce (EMR) di Amazon, ad esempio, senza dover passare attraverso la seccatura di configurare server, lavoratori, ecc. Questo è un buon modo per capire come processare l'elaborazione di MapReduce, ritardando un po 'i problemi dell'apprendimento usare bene HDFS, come gestire il programmatore, ecc

non è difficile per cercare il tuo linguaggio preferito & trovare API Hadoop per esso o almeno alcuni tutorial sul collegamento con Hadoop. Ad esempio, ecco una soluzione su un'app PHP eseguita su Hadoop: http://www.lunchpauze.com/2007/10/writing-hadoop-mapreduce-program-in-php.html

Answer 2

Sembra che tu sia sulla strada giusta. Raccomando di configurare alcune macchine virtuali sul tuo computer di casa per iniziare a prendere ciò che vedi nei libri e implementarle nelle tue macchine virtuali. Come con molte cose, l'unico modo per migliorare in qualcosa è praticarlo. Una volta entrato, sono sicuro che avrai abbastanza conoscenze per avviare un piccolo progetto per implementare Hadoop. Ecco alcuni esempi di cose che le persone hanno costruito con Hadoop: Powered by Hadoop

Answer 3

1) Impara Java. Assolutamente no, mi dispiace.

2) Profitto! Dopo sarà molto facile - Hadoop è dannatamente semplice.

Answer 4

Ecco alcuni video di YouTube belle su MapReduce

http://www.youtube.com/watch?v=yjPBkvYh-ss

http://www.youtube.com/watch?v=-vD6PUdf3Js

http://www.youtube.com/watch?v=5Eib_H_zCEY

http://www.youtube.com/watch?v=1ZDybXl212Q

http://www.youtube.com/watch?v=BT-piFBP4fE

Inoltre, qui sono belle tutorial su come installare Hadoop su Ubuntu

http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/

http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluster/

Answer 5

Ho appena messo insieme un articolo su questo argomento.Grandi risorse di cui sopra, ma credo che troverete alcune indicazioni aggiuntive qui: http://images.globalknowledge.com/wwwimages/whitepaperpdf/WP_CL_Learning_Hadoop.pdf

Answer 6

Risposta 1:

• E 'molto desiderabile conoscere Java. Hadoop è scritto in Java. Il suo popolare formato file di sequenze dipende da Java.
• Anche se usi Hive o Pig, probabilmente dovrai scrivere la tua UDF un giorno. Alcune persone cercano ancora di scriverle in altre lingue, ma suppongo che Java abbia un supporto più solido e primario per loro. strumenti
• La maggior parte Hadoop non sono abbastanza maturi (come Sqoop, HCatalog e così via), così vedrete molte tracce stack errori di Java e, probabilmente, ti consigliamo di modificare il codice sorgente di un giorno

risposta 2

• Non è necessario per farvi conoscere Java.
• Come gli altri hanno detto, sarebbe molto utile a seconda di quanto complessa possa essere l'elaborazione. Tuttavia, c'è una quantità incredibile che puoi fare solo con Pig e dire Hive.
• Sono d'accordo che è abbastanza probabile che alla fine dovrai scrivere una funzione definita dall'utente (UDF), tuttavia, ho scritto quelli in Python, ed è molto facile scrivere UDF in Python.
• Concesso, se si dispone di requisiti di prestazioni molto rigorosi, quindi un programma MapReduce basato su Java sarebbe la strada da percorrere. Tuttavia, grandi progressi nelle prestazioni sono stati fatti sempre in Pig e Hive.
• Quindi, la risposta breve alla tua domanda è "No", non è necessario per te conoscere Java per eseguire lo sviluppo di Hadoop.

Fonte: http://www.linkedin.com/groups/Is-it-must-Hadoop-Developer-988957.S.141072851

Answer 7

Passare attraverso il Yahoo Hadoop tutorial prima di passare attraverso Hadoop the definitive guide. Il tutorial di Yahoo ti offre una comprensione dell'architettura molto semplice e pulita. Penso che i concetti non siano disposti correttamente nel Libro. Ciò rende un po 'difficile studiarlo. Quindi non studiarlo insieme. Esegui prima il tutorial sul web.

Answer 8

Sentiti libero di unirti al mio blog su Big Data - https://oyermolenko.blog. Lavoro con Hadoop da un paio d'anni e in questo blog voglio condividere la mia esperienza sin dall'inizio. Sono venuto da ambiente .NET e ho dovuto affrontare un paio di sfide legate al passaggio da una lingua all'altra. Il mio blog è orientato a persone che non hanno lavorato con Hadoop ma hanno un background tecnico primario come te. Passo dopo passo voglio coprire l'intera famiglia di servizi Big Data, descrivere i concetti e i problemi comuni che ho incontrato lavorando con loro. Spero che vi piaccia