Come registrare la funzione "atexit" nel sottoprocesso di multiprocessing di python?

Question

Ho alcuni sottoprocessi (usando multiprocessing) e quando si fermano, ognuno di loro ha bisogno di fare un ultimo lavoro. Qualcosa come il seguente, che non ha funzionato però ...

import multiprocessing 
import atexit 

def final(): 
    print "final work" 

def worker(): 
    print 'Doing some work' 
    atexit.register(final) 

if __name__ == '__main__': 
    p = multiprocessing.Process(target=worker) 
    p.start() 
    p.join() 

Quindi, come ho potuto fare questo?

Answer 1

I processi avviati tramite multiprocessing non escono normalmente e le funzioni atexit non vengono mai richiamate. Si deve eseguire roba pulizia manualmente tramite un try/finally del blocco, per esempio:

def worker(): 
    try: 
     print('Doing some work') 
    finally: 
     final() 

O, se si vuole veramente utilizzare atexit (vedi sotto per gli svantaggi):

def worker(): 
    try: 
     print('Doing some work') 
    finally: 
     atexit._run_exitfuncs() 

---

Perché non sottoporre a elaborazione l'uscita normalmente?

Tecnicamente, poiché they quit via os._exit(), salta qualsiasi lavoro di pulizia (incluse le funzioni atexit, __del__() e finalizzatori weakref).

Il motivo alla base di questa decisione è che le operazioni di pulizia rischiano di essere eseguite nel momento sbagliato, nel processo sbagliato. La maggior parte del codice che utilizza atexit (o altri meccanismi) si aspetta che il codice venga eseguito solo una volta e solo quando l'interprete principale si chiude (ad esempio, si può usare atexit per rimuovere una directory temporanea). Eseguendo le funzioni atexit ogni volta che si chiude un sottoprocesso, si rompe questa aspettativa e possono accadere cose brutte.

Quindi, anche se è possibile eseguire atexit funzioni tramite atexit._run_exitfuncs(), evitare di farlo, sia perché la funzione è non documentata e perché si può non essere l'unico utente del atexit (altre librerie di terze parti possono utilizzare, e si può introdurre bug nel loro codice).