Multiprocessing Bomba

Question

stavo lavorando il seguente esempio da Doug Hellmann tutorial su multiprocessing:

import multiprocessing 

def worker(): 
    """worker function""" 
    print 'Worker' 
    return 

if __name__ == '__main__': 
    jobs = [] 
    for i in range(5): 
     p = multiprocessing.Process(target=worker) 
     jobs.append(p) 
     p.start() 

Quando ho provato a farlo funzionare al di fuori del if:

import multiprocessing 

def worker(): 
    """worker function""" 
    print 'Worker' 
    return 

jobs = [] 
for i in range(5): 
    p = multiprocessing.Process(target=worker) 
    jobs.append(p) 
    p.start() 

E 'iniziato processi di riproduzione non-stop, e l'unico modo per fermarlo era riavviare!

Perché dovrebbe succedere? Perché non ha generato 5 processi ed è uscito? Perché ho bisogno dell'istruzione if?

Answer 1

Su Windows non esiste la routine fork(), quindi multiprocessing importa il modulo corrente per accedere alla funzione worker. Senza la dichiarazione if, il processo figlio avvia i propri figli e così via.

Answer 2

Non so multiprocessing, ma ho il sospetto che generi processi figlio che hanno un diverso __name__ globale. Rimuovendo il test, stai facendo in modo che ogni bambino avvii di nuovo il processo di spawning.

Answer 3

Si noti che la documentazione menziona che è necessaria l'istruzione if su Windows (here).

Tuttavia, la documentazione non dice che questo uccide la macchina quasi istantaneamente, richiedendo un riavvio. Quindi questo può essere abbastanza confuso, specialmente se l'uso di multiprocessing avviene in qualche funzione nel profondo del codice. Non importa quanto sia profondamente nascosto, hai ancora bisogno del controllo if nel file di programma principale. Questo praticamente esclude l'utilizzo di multiprocessing in qualsiasi tipo di libreria.

multiprocessing in generale sembra un po 'approssimativo. Potrebbe avere l'interfaccia dell'interfaccia del thread, ma non c'è un modo semplice per aggirare il GIL.

Per problemi di parallelizzazione più complessi, vorrei anche esaminare il modulo subprocess o alcune altre librerie (come mpi4py o Parallel Python).