Ottenere l'output di un processo in fase di esecuzione

Question

Sto utilizzando uno script python per eseguire un processo utilizzando subprocess.Popen e contemporaneamente memorizzo l'output in un file di testo e lo stampo sulla console. Questo è il mio codice:

result = subprocess.Popen(cmd, shell=True, stdout=subprocess.PIPE) 
for line in result.stdout.readlines(): #read and store result in log file 
    openfile.write("%s\n" %line) 
    print("%s" %line) 

Sopra codice funziona bene, ma ciò che fa è in primo luogo completa il processo e memorizza l'output in risultato variabile. Dopodiché, lo per il ciclo memorizza l'output e lo stampa.

Ma voglio l'output in fase di esecuzione (dato che il mio processo può richiedere ore per essere completato, non ottengo alcun output per tutte queste ore).

Quindi c'è qualche altra funzione che mi dà l'uscita dinamicamente (in fase di esecuzione), significa che non appena il processo dà la prima riga, dovrebbe essere stampato.

Answer 1

Il problema qui è che .readlines() ottiene l'intero output prima di tornare, in quanto crea un elenco completo. Basta iterare direttamente:

for line in result.stdout: 
    print line 

Answer 2

È possibile iterare le linee una per una utilizzando readline sul tubo:

while True: 
    line = result.stdout.readline() 
    print line.strip() 
    if not line: 
     break 

Le linee contengono una finale \n che ho messo a nudo per la stampa. Quando il processo termina, readline restituisce una stringa vuota, in modo da sapere quando fermarsi.

Answer 3

.readlines() restituisce un elenco di tutti le linee il processo tornerà mentre aperta, vale a dire, che non restituisce nulla fino a quando ricevuto tutti uscita dal sottoprocesso. Per leggere riga per riga in "tempo reale":

import sys 
from subprocess import Popen, PIPE 

proc = Popen(cmd, shell=True, bufsize=1, stdout=PIPE) 
for line in proc.stdout: 
    openfile.write(line) 
    sys.stdout.buffer.write(line) 
    sys.stdout.buffer.flush() 
proc.stdout.close() 
proc.wait() 

Nota: se il sottoprocesso utilizza blocco-buffering quando viene eseguito in modalità non interattiva; potrebbe essere necessario pexpect, pty modules o stdbuf, unbuffer, script commands.

Nota: su Python 2, potrebbe anche essere necessario usare iter(), per ottenere l'output "tempo reale":

for line in iter(proc.stdout.readline, ""): 
    openfile.write(line) 
    print line,