Desidero eseguire un cluster hadoop a più nodi, con ciascun nodo all'interno di un contenitore finestra mobile su un host diverso. Questa immagine - https://github.com/sequenceiq/hadoop-docker funziona bene per avviare hadoop in una modalità pseudo distribuita, qual è il modo più semplice per modificarlo in modo che ogni nodo in un contenitore diverso su un host ec2 separato?Eseguire un cluster hadoop sui contenitori docker
Ho fatto questo con due contenitori che eseguono i nodi master e slave su due host ubuntu diversi. Ho fatto il networking tra i contenitori usando la trama. Ho aggiunto le immagini dei container sull'hub del mozzo docker div4. Ho installato hadoop nello stesso modo, come è stato installato su host diversi. Ho aggiunto le due immagini con coomands per eseguire hasdop su di esse qui:
https://registry.hub.docker.com/u/div4/hadoop_master/ https://registry.hub.docker.com/u/div4/hadoop_slave/.
Le persone di sequenceiq hanno creato un nuovo progetto chiamato cloud-break che è stato progettato per funzionare con diversi fornitori di cloud e creare cluster hadoop su di essi facilmente. Devi solo inserire le tue credenziali e poi funziona allo stesso modo per tutti i provider, per quanto posso vedere.
Così, per EC2, questo sarà ora probabilmente la soluzione più semplice (soprattutto a causa di una bella GUI):
hai trovato la soluzione, se sì allora per favore mi guida –