Come posso eseguire un elenco di comandi in parallelo?

Question

Ho un file contenente le righe di comando che voglio eseguire. Questo file contiene circa 2000 linee.

Sono disponibili 8 core. È possibile analizzare il file e avviare 8 processi, quindi eseguirne un altro dal file quando termina uno dei programmi? Voglio che questo continui fino al raggiungimento della fine del file.

Answer 1

È possibile utilizzare xargs per leggere nel file, limitando il numero massimo di processi al numero di core disponibili. Ad esempio:

cores=$(fgrep -c processor /proc/cpuinfo) 
xargs --arg-file=/tmp/foo \ 
     --max-procs=$cores \ 
     --replace \ 
     --verbose \ 
     /bin/sh -c "{}" 

Answer 2

È possibile avviare nuovi processi sullo sfondo semplicemente eseguendo un comando con &. C'è un esempio here che descrive una soluzione del tuo problema.

Answer 3

Utilizzare GNU parallel. È uno strumento incredibilmente potente e esistono pacchetti ufficiali per circa 20 distribuzioni di Linux. Cos'è quello? You have an excuse as to why you can't use it? Ecco un semplice esempio che mostra come eseguire un elenco o un file di comandi in parallelo:

Contenuto del jobs.txt:

sleep 1; echo "a" 
sleep 3; echo "b" 
sleep 2; echo "c" 

comando:

time parallel :::: jobs.txt 

Risultati:

a 
c 
b 

real 0m3.332s 
user 0m0.170s 
sys  0m0.037s 

---

Note:

Se si desidera mantenere l'ordine come input, passare il flag -k a GNU parallelo.

Se si dispone di più di otto core e si desidera elaborare solo con otto core, aggiungere -j 8 all'elenco di argomenti.

man page è una buona lettura, ma se non hai già letto this tutorial ti consiglio caldamente l'investimento nel tempo.