5

Ho la necessità di configurare ed eseguire lavori paralleli "imbarazzanti" su Google Compute Engine. Sto cercando strumenti per facilitare questo.Strumenti per l'impostazione e l'esecuzione di un lavoro di rete su Google Compute Engine?

In EC2, stavo usando Starcluster del MIT per impostare il cluster e quindi semplicemente inoltrando il lavoro a SGE.

Esistono strumenti simili ancora disponibili per Google Compute Engine?

In caso contrario, creerò manualmente un cluster Condor per eseguire i lavori. Buzz kill.

risposta

5

Non ho trovato nulla là fuori. L'attuale percorso di Starcluster per il supporto GCE è attendere il supporto ufficiale di boto per GCE. Tutto ciò potrebbe richiedere del tempo, quindi sono andato avanti e ho scritto un codice Python per avviare e terminare un cluster di base.

L'ho condiviso here on github.

Spero che qualcun altro lo trovi utile, almeno come codice di esempio.

0

Starcluster è davvero fantastico. Sfortunatamente, non c'è alcun supporto per GCE e ho familiarità con sistemi simili a questo punto.

Mi piacerebbe vedere che succedesse anche se così se si ottiene qualcosa di lavoro, si prega di condividere!

+0

Controllerò con la mailing list di starcluster per vedere se qualcosa è stato avviato. In entrambi i casi otterrò un set di funzionalità di base (immagini, file di configurazione, avvio, termine) avviato e inserito in github. –

+0

Ho condiviso il codice Python per avviare e terminare un cluster di condor di base [qui] (https://github.com/josecodes/gce_condor), come richiesto da @joe –

3

Elasticluster dispone del supporto di Google Compute Engine. È molto simile a Starcluster e funziona su AWS usando boto, GCE, Openstack. https://github.com/gc3-uzh-ch/elasticluster

+0

Questa domanda è stata posta a giugno 2013. Probabilmente ha il suo problema capito 2 anni dopo. –

+4

@greg_diesel Qualcun altro può ancora trovare la risposta utile, però. :) – Sildoreth