Condor, Sun Grid Engine o qualcos'altro?

Question

Sto cercando di capire se dovremmo provare Condor o Sun Grid Engine al lavoro (o forse qualcos'altro).

Spesso ci sono molte workstation WinXp inutilizzate. La speranza è che possiamo usare wake-on-LAN, eseguire tutti i nostri lavori e poi spegnersi automaticamente. Avremmo principalmente eseguito simulazioni Matlab, Java o Python per le esplorazioni di monte-carlo o di parametri.

Con la mia conoscenza limitata di Condor, sembra che usare l'universo VM potrebbe essere un modo conveniente di prendersi cura delle istantanee senza dover modificare il codice esistente.

SGE o qualcos'altro meglio di condor per questo tipo di lavoro?

Answer 1

Vorrei iniziare con Condor. Ha un buon supporto per Windows e le versioni più recenti hanno il supporto integrato per l'invio di wake-on-lan in un modo molto configurabile quando i lavori possono essere eseguiti su determinate macchine. Può anche arrestare le macchine in base a criteri definiti dall'utente.

Answer 2

Per hardware dedicato andrei con Grid Engine.

Per il lavaggio di cicli di clock su macchine che potrebbero essere in uso, andrei con Condor.

Per l'hardware a cui si ha accesso dedicato per periodi fissi, come durante la notte e nei fine settimana, probabilmente andrei ancora con Condor ma potrei essere in grado di convincermi a utilizzare Grid Engine.

Answer 3

Ho provato solo Condor ed è stato doloroso provare a configurare. Se hai bisogno di tutti i cicli di clock che puoi utilizzare completamente, vai con Condor.

Sto per provare SGE e ti dirò come va. Tuttavia, nella mia azienda, le persone hanno avuto esperienza nella creazione di SGE, quindi probabilmente dirò che SGE è più facile.

Answer 4

Ho dovuto scegliere tra condor e SGE per un progetto cliente recentemente. Stavo favorendo SGE (perché ero più familiarità con questo ambiente), ma Condor vinto infine perché:

• l'infrastruttura del cliente è orientata di Windows, e la soluzione SGE richiede un macchina Unix o Linux per il Direttore Centrale, + l'installazione di MS Services per Unix sugli host di calcolo
• supporto e processo di installazione di Condor su Windows è stato molto più semplice.

Tuttavia, non è possibile utilizzare le funzionalità più interessanti di Condor su Windows: il checkpoint non è disponibile, né gli IO specifici di Condor. Non sto utilizzando l'universo VM, quindi non posso commentare questo aspetto.

Answer 5

SGE non in realtà finestre di supporto. Viene fornito con all kinds of caveats and missing bits on Windows.

Sono in esecuzione pool Condor da molti anni ed è una configurazione HTPC superba sia per il ciclo-sottrazione che per l'hardware dedicato, sempre attivo, su macchine Linux e Windows. La recente aggiunta del loro Rooster daemon consente di mettere le macchine in stato di sospensione tra i cicli di lavoro e di riattivarli quando viene visualizzato un nuovo lavoro nel pool. Hanno anche una comunità di supporto attiva e molto utile. Checkpointing è l'unica funzionalità di Condor non disponibile su Windows. Tutto il resto è lì. Con l'aggiunta dell'Universo VM, il checkpoint diventa sempre meno utile. In realtà: per utilizzare correttamente il checkpoint è necessario essere in grado di ricollegare l'intero stack di codice.Quindi, se stai eseguendo lavori Matlab, anche su Linux, il checkpoint non sarà possibile.

Se avete domande specifiche su come ottenere Condor in esecuzione su Windows saremo lieti di rispondere, condividere le mie esperienze con esso. Gestisco Condor su 4 pool in tutto il mondo con un totale di circa 1500 macchine dedicate in tutti i pool e circa una o due macchine desktop aggiuntive disponibili per gli utenti che desiderano donarle.

Answer 6

SGE non esiste ... è OGE ed è molto costoso. Vai con Condor.

Answer 7

Dopo l'acquisizione da parte di Oracle di SGE (Sun Grid Engine), esiste il progetto Open Grid Scheduler che offre ancora il Grid Engine open-source.

http://gridscheduler.sourceforge.net/