_pickle in python3 non funziona per il salvataggio di grandi quantità di dati

Question

Sto cercando di applicare _pickle per salvare i dati sul disco. Ma quando si chiama _pickle.dump, ho ottenuto un errore

È questo un limite difficile da usare _pickle? (cPickle per python2)

Answer 1

Sì, questo è un limite hardcoded; da save_bytes function:

else if (size <= 0xffffffffL) { 
    // ... 
} 
else { 
    PyErr_SetString(PyExc_OverflowError, 
        "cannot serialize a bytes object larger than 4 GiB"); 
    return -1;   /* string too large */ 
} 

Il protocollo utilizza 4 byte di scrivere la dimensione dell'oggetto a disco, che significa che è possibile seguire soltanto dimensioni fino a 2 == 4GB.

Se è possibile suddividere l'oggetto bytes in più oggetti, ciascuno di dimensioni inferiori a 4 GB, è comunque possibile salvare i dati su un sottaceto, naturalmente.

Answer 2

Non

più in Python 3.4 che ha PEP 3154 e Pickle 4,0
https://www.python.org/dev/peps/pep-3154/

Ma è necessario dire che si desidera utilizzare la versione 4 del protocollo:
https://docs.python.org/3/library/pickle.html

pickle.dump(d, open("file", 'w'), protocol=4) 

Answer 3

C'è grandi risposte sopra per il motivo per cui pickle non funziona. Ma ancora non funziona con Python 2.7, che è un problema se si è ancora in Python 2.7 e si vuole supportare grandi file , in particolare NumPy (gli array NumPy oltre 4G falliscono).

È possibile utilizzare la serializzazione OC, che è stata aggiornata per funzionare per i dati su 4Gig. C'è a disposizione un modulo Python C Extension da:

http://www.picklingtools.com/Downloads

Date un'occhiata alla documentazione:

http://www.picklingtools.com/html/faq.html#python-c-extension-modules-new-as-of-picklingtools-1-6-0-and-1-3-3

Ma, ecco un breve riassunto: c'è ocdumps e ocloads, molto simile discariche e carichi ::

from pyocser import ocdumps, ocloads 
ser = ocdumps(pyobject) : Serialize pyobject into string ser 
pyobject = ocloads(ser) : Deserialize from string ser into pyobject 

The OC Se del sottaceto la rializzazione è 1.5-2 volte più veloce e funziona anche con C++ (se stai mixando le lingue). Funziona con tutti i tipi built-in, ma non con le classi (in parte perché è cross-language ed è difficile creare classi C++ da Python).