Come lasciare Pool.map prendere una funzione lambda

Question

Ho la seguente funzione:

def copy_file(source_file, target_dir): 
    pass 

Ora vorrei usare multiprocessing per eseguire questa funzione in una sola volta:

p = Pool(12) 
p.map(lambda x: copy_file(x,target_dir), file_list) 

Il problema è , Lambda's non può essere in salamoia, quindi questo fallisce. Qual è il modo più accurato (pitonico) per risolvere questo problema?

Answer 1

Utilizzare un oggetto funzione:

class Copier(object): 
    def __init__(self, tgtdir): 
     self.target_dir = tgtdir 
    def __call__(self, src): 
     copy_file(src, self.target_dir) 

Per eseguire il Pool.map:

p.map(Copier(target_dir), file_list) 

Answer 2

La risposta che segue è stata colpita perché questo does not actually work in python2 dal functools.partial oggetti (in python2) non sono serializzabili.

functools.partial Gli oggetti sono stati resi selezionabili in Python3, tuttavia, questa soluzione non funziona.

---

Potreste usare functools.partial:

import functools 
copier=functools.partial(copy_file,target_dir=target_dir) 
p.map(copier,file_list) 

Answer 3

domanda è un po 'vecchio, ma se si sta ancora utilizzare Python 2 la mia risposta può essere utile.

Trucco utilizza parte del progetto pathos: multiprocess fork di multiprocessing. Si sbarazza della fastidiosa limitazione del multiprocesso originale.

installazione: pip install multiprocess

Usage:

>>> from multiprocess import Pool 
>>> p = Pool(4) 
>>> print p.map(lambda x: (lambda y:y**2)(x) + x, xrange(10)) 
[0, 2, 6, 12, 20, 30, 42, 56, 72, 90] 

Answer 4

Da this risposta, il pathos diamo si esegue il lambda p.map(lambda x: copy_file(x,target_dir), file_list) direttamente, risparmiando tutte le soluzioni alternative/hack