la differenza tra doMC e doParallel in R

Question

Qual è la differenza tra doParallel e doMC in R riguardo alla funzione foreach? doParallel supporta Windows, unix-like, mentre doMC supporta solo unix-like. In altre parole, perché doParallel non può sostituire direttamente doMC? Grazie.

Aggiornamento: doParallel è costruita su parallel, che è essenzialmente una fusione di multicore e snow e automaticamente utilizza lo strumento appropriato per il sistema. Di conseguenza, possiamo utilizzare doParallel per supportare più sistemi. In altre parole, possiamo usare doParallel per sostituire doMC.

ref: http://michaeljkoontz.weebly.com/uploads/1/9/9/4/19940979/parallel.pdf

BTW, qual è la differenza tra il registerDoParallel(ncores=3) e

cl <- makeCluster(3) 
registerDoParallel(cl) 

Sembra registerDoParallel(ncores=3) può fermare automaticamente cluster, mentre il secondo non si fermano automaticamente e ha bisogno di stopCluster(cl).

ref: http://cran.r-project.org/web/packages/doParallel/vignettes/gettingstartedParallel.pdf

Answer 1

Il pacchetto doParallel è una fusione di doSNOW e doMC, quanto parallel è una fusione di snow e multicore. Ma nonostante doParallel, mi è stato detto da Rich Calaway di Revolution Analytics che volevano mantenere doMC in giro perché era più efficiente in alcune circostanze, anche se doMC ora utilizza parallel proprio come doParallel. Non ho personalmente eseguito alcun benchmark per determinare se e quando c'è una differenza significativa.

Io tendo ad usare doMC su un computer Linux o Mac OS X, doParallel su un computer Windows, e doMPI su un cluster Linux, ma doParallel funziona su tutte queste piattaforme.

---

Per quanto riguarda i diversi metodi di registrazione, se si esegue:

registerDoParallel(cores=3) 

su una macchina Windows, si creerà un oggetto di cluster implicitamente per un uso successivo con clusterApplyLB, mentre su Linux e Mac OS X , nessun oggetto cluster viene creato o utilizzato. Il numero di core viene semplicemente ricordato e utilizzato come valore dell'argomento mc.cores in seguito quando si chiama mclapply.

Se si esegue:

cl <- makeCluster(3) 
registerDoParallel(cl) 

allora l'oggetto di cluster registrati saranno utilizzati con clusterApplyLB indipendentemente dalla piattaforma. È corretto che in questo caso, è responsabilità dell'utente arrestare l'oggetto cluster da quando è stato creato, mentre l'oggetto cluster implicito viene automaticamente arrestato.