Utilizzo di neve (e nevicate) con AWS per elaborazione parallela in R

Question

In relazione al mio precedente similar SO question, ho provato a utilizzare Snow/Snowfall su AWS per il calcolo parallelo.

Quello che ho fatto è stato:

• Nella funzione sfInit(), ho fornito il DNS pubblico per socketHosts parametro in questo modo sfInit(parallel=TRUE,socketHosts =list("ec2-00-00-00-000.compute-1.amazonaws.com"))
• L'errore riscontrato è Permission denied (publickey)
• Poi ho seguito le istruzioni (I presumere correttamente!) su http://www.imbi.uni-freiburg.de/parallel/ nella sezione 'login senza password Secure Shell (SSH)'
• Ho appena cat il contenuto del file .pem che creo ted sul AWS in ~/.ssh/authorized_keys dell'istanza AWS voglio collegare a dal mio maestro esempio AWS e per il master esempio AWS così

C'è qualcosa che mi manca fuori? Sarei molto grato se gli utenti possano condividere le loro esperienze sull'uso della neve su AWS.

Grazie mille per i vostri suggerimenti.

UPDATE: Volevo solo aggiornare la soluzione che ho trovato al mio problema specifico:

• ho usato Starcluster installare il mio gruppo AWS: StarCluster
• pacchetto installato snowfall su tutti i nodi del cluster
• Dal nodo master rilasciato i seguenti comandi
• hostslist <- list("ec2-xxx-xx-xxx-xxx.compute-1.amazonaws.com","ec2-xx-xx-xxx-xxx.compute-1.amazonaws.com")
• sfInit(parallel=TRUE, cpus=2, type="SOCK",socketHosts=hostslist)
• l <- sfLapply(1:2,function(x)system("ifconfig",intern=T))
• lapply(l,function(x)x[2])
• sfStop()
• le informazioni IP ha confermato che i nodi AWS venivano utilizzati

Answer 1

credo @Anatoliy è corretto: stai usando un certificato X.509. Per i passaggi precisi da eseguire per aggiungere le chiavi SSH, consultare la sezione "Tipi di credenziali" di EC2 Starters Guide.

Per caricare le proprie chiavi SSH, dare un'occhiata a this page from Alestic.

All'inizio è un po 'confuso, ma è necessario tenere a mente quali sono le chiavi di accesso, i certificati e le coppie di chiavi, che possono apparire nei file di testo con DSA o RSA.

Answer 2

aspetto non così male, ma il file PEM è sbagliato. Ma a volte non è così semplice e molte persone devono combattere con questi problemi. Un sacco di consigli si possono trovare in questo post:

• https://forums.aws.amazon.com/message.jspa?messageID=241341
• O controllare Google per altri Messaggi.

Dalla mia esperienza la maggior parte delle persone hanno problemi in questi passaggi:

• Puoi accedere al macchine via SSH? (ssh ec2-00-00-00-000.compute-1.amazonaws.com). Prova a utilizzare il DNS pubblico, non l'IP pubblico da connettere.
• Dovresti controllare i "Gruppi di sicurezza" in AWS se la porta 22 è aperta per tutte le macchine!

Se si prevede di avviare più di 10 macchine worker si dovrebbe lavorare su un impianto di MPI sulle vostre macchine (molto meglio delle prestazioni!)

Markus da cloudnumbers.com :-)