Sottoprocesso Python: troppi file aperti

Question

Sto utilizzando un sottoprocesso per chiamare un altro programma e salvare i suoi valori di ritorno su una variabile. Questo processo viene ripetuto in un ciclo, e dopo un paio di migliaia di volte il programma si è schiantato con il seguente errore:

Traceback (most recent call last): 
    File "./extract_pcgls.py", line 96, in <module> 
    SelfE.append(CalSelfEnergy(i)) 
    File "./extract_pcgls.py", line 59, in CalSelfEnergy 
    p = subprocess.Popen(cmd, stdout=subprocess.PIPE, shell=True) 
    File "/usr/lib/python3.2/subprocess.py", line 745, in __init__ 
    restore_signals, start_new_session) 
    File "/usr/lib/python3.2/subprocess.py", line 1166, in _execute_child 
    errpipe_read, errpipe_write = _create_pipe() 
OSError: [Errno 24] Too many open files 

Qualsiasi idea di come risolvere questo problema è molto apprezzato!

codice fornito da commenti:

cmd = "enerCHARMM.pl -parram=x,xtop=topology_modified.rtf,xpar=lipid27_modified.par,nobuildall -out vdwaals {0}".format(cmtup[1]) 
p = subprocess.Popen(cmd, stdout=subprocess.PIPE, shell=True) 
out, err = p.communicate() 

Answer 1

Credo che il problema era dovuto al fatto che stavo elaborando un file aperto con sottoprocesso:

cmd = "enerCHARMM.pl -par param=x,xtop=topology_modified.rtf,xpar=lipid27_modified.par,nobuildall -out vdwaals {0}".format(cmtup[1]) 
p = subprocess.Popen(cmd, stdout=subprocess.PIPE, shell=True) 

Qui il cmd varia ble contiene il nome di un file appena creato ma non chiuso. Quindi lo subprocess.Popen chiama un comando di sistema su quel file. Dopo aver fatto questo per molte volte, il programma si è bloccato con quel messaggio di errore.

Quindi il messaggio che ho imparato da questo è

Close the file you have created, then process it

Grazie

Answer 2

Puoi provare ad aumentare il limite di file aperti del sistema operativo:

ulimit -n 2048

Answer 3

apre file in sottoprocesso. Sta bloccando la chiamata.

ss=subprocess.Popen(tempFileName,shell=True) 
ss.communicate() 

Answer 4

In Mac OSX (El Capitan) Vedi configurazione corrente:

#ulimit -a 
core file size   (blocks, -c) 0 
data seg size   (kbytes, -d) unlimited 
file size    (blocks, -f) unlimited 
max locked memory  (kbytes, -l) unlimited 
max memory size   (kbytes, -m) unlimited 
open files      (-n) 256 
pipe size   (512 bytes, -p) 1 
stack size    (kbytes, -s) 8192 
cpu time    (seconds, -t) unlimited 
max user processes    (-u) 709 
virtual memory   (kbytes, -v) unlimited 

Set file aperti valore a 10K:

#ulimit -Sn 10000 

verificare i risultati:

#ulimit -a 

core file size   (blocks, -c) 0 
data seg size   (kbytes, -d) unlimited 
file size    (blocks, -f) unlimited 
max locked memory  (kbytes, -l) unlimited 
max memory size   (kbytes, -m) unlimited 
open files      (-n) 10000 
pipe size   (512 bytes, -p) 1 
stack size    (kbytes, -s) 8192 
cpu time    (seconds, -t) unlimited 
max user processes    (-u) 709 
virtual memory   (kbytes, -v) unlimited 

Answer 5

Un processo figlio creato da Popen() può ereditare i descrittori di file aperti (una risorsa finita) dal genitore. Utilizzare close_fds=True su POSIX (predefinito da Python 3.2), per evitarlo. Inoltre, "PEP 0446 -- Make newly created file descriptors non-inheritable" deals with some remaining issues (since Python 3.4).

Answer 6

Come altri hanno notato, aumentare il limite di /etc/security/limits.conf e anche file descrittori era un problema per me personalmente, così ho fatto

sudo sysctl -w fs.file-max=100000 

E ha aggiunto una linea con fs.file -max = 100000 a /etc/sysctl.conf (ricaricare con sysctl -p)

Inoltre, se si vuole fare in modo che il processo non è influenzato da qualsiasi altra cosa (che la mia era), utilizzare

cat /proc/{process id}/limits 

trovare fuori da ciò che sono i veri limiti del tuo processo, come per me il software che esegue gli script Python ha anche i suoi limiti applicati che hanno scavalcato le impostazioni del sistema.

Inserendo questa risposta qui dopo aver risolto il mio particolare problema con questo errore e si spera che aiuti qualcuno.