Parallelismo con SciPy.optimize

Question

Sto lavorando su un codice di ricerca che utilizza scipy.optimize.leastsq per ottimizzare una funzione. Lo fa circa 18 volte per iterazione, quindi vorrei chiamare leastsq in parallelo per ridurre il tempo di esecuzione. Questo non dovrebbe essere un problema perché le ottimizzazioni sono quasi completamente separate, quindi è richiesta pochissima sincronizzazione. Recentemente ho scoperto lo multiprocessing.pool.ThreadPool che mi permetterebbe di farlo senza dover impostare esplicitamente la memoria condivisa (un problema dato che la maggior parte dei miei dati sono in array di NumPy). Così ho fatto una leggera riscrittura del mio codice, sperando che funzionasse, ma genera uno strano errore: SystemError: null argument to internal routine.

Quello che segue è una semplificazione del mio codice:

def optfunc(id): 
    def errfunc(x): 
     return somedata[id] - somefunc(x) 

    lock.acquire() 
    x0 = numpy.copy(currentx[id]) 
    lock.release() 

    result = scipy.optimize.leastsq(errfunc, x0) 

    lock.acquire() 
    currentx[id] = result 
    lock.release() 

ThreadPool(processes=8).map(optfunc, range(idcount)) 

Questo dovrebbe funzionare bene, a meno che scipy.optimize.leastsq non è threadsafe. Così ho provato a mettere un lucchetto intorno allo scipy.optimize.leastsq; ecco, funziona. Tuttavia, l'utilizzo del processore è bloccato al 100%, quindi questo è inutile per me.

La mia domanda è: cosa posso fare a riguardo? Credo che le mie opzioni sono:

1. Trova un'implementazione thread-safe di LM
2. Prova con processi piuttosto che le discussioni (non credo che questo sarebbe fare la differenza)

(levmar, forse?)

Qualsiasi aiuto o suggerimento sarebbe molto apprezzato.

Answer 1

Quante CPU/core? Non c'è niente da guadagnare se quello che hai è in esecuzione al 100% senza threading. Se leastq() non è thread-safe e non si utilizza il 100% del computer in uso, è possibile eseguire un'istanza del programma per core e sincronizzare le istanze tramite il file system.

Answer 2

L'utilizzo dei processi anziché dei thread farà la differenza: funzionerà indipendentemente dal fatto che il programma sia protetto da thread o meno. Ovviamente, se è più veloce dipende se il tempo necessario per risolvere il problema è maggiore del sovraccarico.

L'utilizzo dei processi potrebbe richiedere alcuni problemi aggiuntivi con l'impostazione di tutti i dati necessari. Il modulo multiprocessing tuttavia si occupa della maggior parte del lavoro, quindi non dovrebbe essere troppo difficile da fare.