pitone equivalente di output di file tubazioni a gzip in Perl usando un tubo

Question

devo capire come scrivere output di file in un file compresso in Python, simile ai due-liner di seguito:

open ZIPPED, "| gzip -c > zipped.gz"; 
print ZIPPED "Hello world\n"; 

In Perl , questo usa Unix gzip per comprimere tutto ciò che si stampa nel filehandle ZIPPED nel file "zipped.gz".

so come usare "importazione gzip" per fare questo in Python come questo:

import gzip 
zipped = gzip.open("zipped.gz", 'wb') 
zipped.write("Hello world\n") 

Tuttavia, che è estremamente lento. Secondo il profiler, l'utilizzo di tale metodo richiede il 90% del tempo di esecuzione poiché sto scrivendo 200 GB di dati non compressi su vari file di output. Sono consapevole che il file system potrebbe essere parte del problema qui, ma voglio escluderlo usando invece la compressione Unix/Linux. Questo è in parte perché ho sentito che la decompressione usando questo stesso modulo è altrettanto lenta.

Answer 1

Il suggerimento di ChristopheD di utilizzare subprocess module è una risposta appropriata a questa domanda. Tuttavia, non è chiaro per me che risolverà i tuoi problemi di prestazioni. Dovresti misurare le prestazioni del nuovo codice per essere sicuro.

per convertire il vostro codice di esempio:

import subprocess 

p = subprocess.Popen("gzip -c > zipped.gz", shell=True, stdin=subprocess.PIPE) 
p.communicate("Hello World\n") 

Dal momento che avete bisogno di inviare grandi quantità di dati al sub-processo, si consiglia di utilizzare l'attributo stdin dell'oggetto Popen. Per esempio:

import subprocess 

p = subprocess.Popen("gzip -c > zipped.gz", shell=True, stdin=subprocess.PIPE) 
p.stdin.write("Some data") 

# Write more data here... 

p.communicate() # Finish writing data and wait for subprocess to finish 

È inoltre possibile trovare la discussione a this question utile.

Answer 2

Utilizzando la gzip module è il funzionario di sola andata-to-do-it ed è improbabile che qualsiasi altro approccio pitone puro andrà più veloce. Ciò è particolarmente vero perché la dimensione dei dati esclude le opzioni in memoria. Molto probabilmente, il modo più veloce è scrivere il file completo sul disco e usare subprocess per chiamare gz su quel file.

Answer 3

provare qualcosa di simile:

from subprocess import Popen, PIPE 
f = open('zipped.gz', 'w') 
pipe = Popen('gzip', stdin=PIPE, stdout=f) 
pipe.communicate('Hello world\n') 
f.close()