un modo più efficiente di mettere sotto aceto una stringa

Question

Il modulo pickle sembra utilizzare i caratteri di escape della stringa durante il decapaggio; questo diventa inefficiente per es. su array numpy. Considerare le seguenti

z = numpy.zeros(1000, numpy.uint8) 
len(z.dumps()) 
len(cPickle.dumps(z.dumps())) 

Le lunghezze sono rispettivamente 1133 e 4249 caratteri caratteri.

z.dumps() rivela qualcosa come "\ x00 \ x00" (zeri effettivi in ​​stringa), ma pickle sembra utilizzare la funzione repr() della stringa, restituendo "'\ x00 \ x00'" (essendo gli zeri ascii zeri).

cioè ("0" in z.dumps() == false) e ("0" in cPickle.dumps (z.dumps()) == true)

Answer 1

provare a utilizzare una versione successiva del protocollo pickle con il parametro protocollo su pickle.dumps(). Il valore predefinito è 0 ed è un formato di testo ASCII. Quelli superiori a 1 (ti suggerisco di usare pickle.HIGHEST_PROTOCOL). I formati di protocollo 1 e 2 (e 3 ma questo è per py3k) sono binari e dovrebbero essere più conservativi dello spazio.

Answer 2

Soluzione:

import zlib, cPickle 

def zdumps(obj): 
    return zlib.compress(cPickle.dumps(obj,cPickle.HIGHEST_PROTOCOL),9) 

def zloads(zstr): 
    return cPickle.loads(zlib.decompress(zstr)) 

>>> len(zdumps(z)) 
128 

Answer 3

Un miglioramento alla risposta di Vartec, che sembra un po 'più efficiente della memoria (dal momento che non forza tutto in una stringa):

def pickle(fname, obj): 
    import cPickle, gzip 
    cPickle.dump(obj=obj, file=gzip.open(fname, "wb", compresslevel=3), protocol=2) 

def unpickle(fname): 
    import cPickle, gzip 
    return cPickle.load(gzip.open(fname, "rb")) 

Answer 4

z.dumps() è già in salamoia stringa cioè, può essere deselezionato utilizzando pickle.loads():

>>> z = numpy.zeros(1000, numpy.uint8) 
>>> s = z.dumps() 
>>> a = pickle.loads(s) 
>>> all(a == z) 
True