Python Qual è la differenza tra un pool di processi di lavoro e l'esecuzione di più processi?

Question

Non sono sicuro quando utilizzare pool di worker rispetto a più processi.

processes = [] 

for m in range(1,5): 
     p = Process(target=some_function) 
     p.start() 
     processes.append(p) 

for p in processes: 
     p.join() 

vs

if __name__ == '__main__': 
    # start 4 worker processes 
    with Pool(processes=4) as pool: 
     pool_outputs = pool.map(another_function, inputs) 

Answer 1

Come si dice on PYMOTW:

La classe Pool può essere utilizzato per gestire un numero fisso di lavoratori per casi semplici in cui il lavoro deve essere fatto può essere suddivisi e distribuiti tra i lavoratori in modo indipendente.

I valori di ritorno dai lavori vengono raccolti e restituiti come un elenco.

Gli argomenti del pool includono il numero di processi e una funzione per eseguita all'avvio del processo di attività (richiamata una volta per figlio).

Si prega di dare un'occhiata agli esempi forniti qui per capire meglio la sua applicazione, funzionalità e parametri.

Fondamentalmente il Pool è un aiuto, facilitando la gestione dei processi (lavoratori) nei casi in cui tutto ciò che devono fare è consumare dati di input comuni, elaborarli in parallelo e produrre un output congiunto.

La piscina fa un bel paio di cose che altrimenti si dovrebbe codice da soli (non troppo duro, ma ancora, è conveniente per trovare una soluzione pre-cotti)

cioè

• la scissione della dati di input
• la funzione del processo di destinazione è semplificata: può essere progettata per prevedere solo un elemento di input. La piscina è andando a chiamarlo fornire ogni elemento dal sottoinsieme assegnato a tale lavoratore
• attesa per i lavoratori a terminare il loro lavoro (cioè che unisce i processi)
• ...
• fondendo l'uscita di ciascun lavoratore produrre la produzione finale