applicare la compressione GZIP in un file CSV in Python Pandas

Question

Sto cercando di scrivere un dataframe a un csv gzipped in panda pitone, utilizzando il seguente:

import pandas as pd 
import datetime 
import csv 
import gzip 

# Get data (with previous connection and script variables) 
df = pd.read_sql_query(script, conn) 

# Create today's date, to append to file 
todaysdatestring = str(datetime.datetime.today().strftime('%Y%m%d')) 
print todaysdatestring 

# Create csv with gzip compression 
df.to_csv('foo-%s.csv.gz' % todaysdatestring, 
     sep='|', 
     header=True, 
     index=False, 
     quoting=csv.QUOTE_ALL, 
     compression='gzip', 
     quotechar='"', 
     doublequote=True, 
     line_terminator='\n') 

Questo solo crea un csv chiamato 'foo-YYYYMMDD.csv .gz ', non un vero archivio gzip.

Ho anche provato ad aggiungere questo:

#Turn to_csv statement into a variable 
d = df.to_csv('foo-%s.csv.gz' % todaysdatestring, 
     sep='|', 
     header=True, 
     index=False, 
     quoting=csv.QUOTE_ALL, 
     compression='gzip', 
     quotechar='"', 
     doublequote=True, 
     line_terminator='\n') 

# Write above variable to gzip 
with gzip.open('foo-%s.csv.gz' % todaysdatestring, 'wb') as output: 
    output.write(d) 

che non riesce pure. Qualche idea?

Answer 1

Utilizzare df.to_csv() con l'argomento della parola chiave compression='gzip' dovrebbe produrre un archivio gzip. L'ho provato usando gli stessi argomenti delle parole chiave come te, e ha funzionato.

Potrebbe essere necessario aggiornare i panda, poiché gzip non è stato implementato fino alla versione 0.17.1, ma provare a utilizzarlo su versioni precedenti non genera un errore e produce solo un csv regolare. È possibile determinare la versione corrente dei panda controllando l'output di pd.__version__.

Answer 2

with gzip.open('foo-%s.csv.gz' % todaysdatestring, 'wb') as f: 
    f.write(df.to_csv(sep='|', index=False, quoting=csv.QUOTE_ALL)) 

Answer 3

Da documentation

import gzip 
content = "Lots of content here" 
with gzip.open('file.txt.gz', 'wb') as f: 
    f.write(content) 

con pandas

import gzip 


content = df.to_csv(
     sep='|', 
     header=True, 
     index=False, 
     quoting=csv.QUOTE_ALL, 
     quotechar='"', 
     doublequote=True, 
     line_terminator='\n') 

with gzip.open('foo-%s.csv.gz' % todaysdatestring, 'wb') as f: 
    f.write(content) 

Il trucco è che il testo to_csv uscite se non si passa un nome di file. Quindi devi semplicemente reindirizzare quel testo al metodo .

Answer 4

E 'fatto molto facilmente con i panda

import pandas as pd 

Scrivere un panda dataframe a disco come gunzip compressa csv

df.to_csv('dfsavename.csv.gz', compression='gzip') 

Leggi dal disco

df = pd.read_csv('dfsavename.csv.gz', compression='gzip')