Lavorare con i big data in python e numpy, non abbastanza ram, come salvare i risultati parziali sul disco?

Question

Sto cercando di implementare algoritmi per dati 1000-dimensionali con punti dati 200k + in python. Voglio usare numpy, scipy, sklearn, networkx e altre librerie utili. Voglio eseguire operazioni come la distanza a coppie tra tutti i punti e fare il clustering su tutti i punti. Ho implementato algoritmi di lavoro che eseguono ciò che voglio con ragionevole complessità ma quando provo a ridimensionarli a tutti i miei dati, ho esaurito ram. Certo che lo faccio, creando la matrice per le distanze a coppie su 200k + i dati richiedono molta memoria.

Ecco il trucco: mi piacerebbe davvero farlo su computer scadenti con basse quantità di RAM.

C'è un modo fattibile per far funzionare questo lavoro senza i limiti del basso ram. Che ci vorrà molto più tempo non è davvero un problema, a patto che le richieste di tempo non vadano all'infinito!

Mi piacerebbe essere in grado di mettere i miei algoritmi al lavoro e poi tornare indietro di un'ora o più e non averlo bloccato perché è rimasto senza ram! Mi piacerebbe implementarlo in python, ed essere in grado di usare le librerie numpy, scipy, sklearn e networkx. Mi piacerebbe essere in grado di calcolare la distanza a due a tutti i miei punti, ecc.

È fattibile? E come potrei farlo, cosa posso iniziare a leggere?

migliori saluti // Mesmer

Answer 1

Utilizzando numpy.memmap si creare array direttamente mappate in un file:

import numpy 
a = numpy.memmap('test.mymemmap', dtype='float32', mode='w+', shape=(200000,1000)) 
# here you will see a 762MB file created in your working directory  

È possibile trattarlo come un array convenzionale: un + = 1000.

E 'possibile anche assegnare più array di lo stesso file, controllandolo da fonti reciproche se necessario. Ma ho vissuto alcune cose complicate qui. Per aprire la serie completa si deve "chiudere" la precedente prima, utilizzando del:

del a  
b = numpy.memmap('test.mymemmap', dtype='float32', mode='r+', shape=(200000,1000)) 

Ma openning solo una parte della matrice permette di ottenere il controllo simultaneo:

b = numpy.memmap('test.mymemmap', dtype='float32', mode='r+', shape=(2,1000)) 
b[1,5] = 123456. 
print a[1,5] 
#123456.0 

Grande! a è stato modificato insieme a b. E i cambiamenti sono già scritti sul disco.

L'altra cosa importante che vale la pena di commentare è offset. Si supponga di voler prendere non le prime 2 righe in b, ma le linee 150000 e 150001.

b = numpy.memmap('test.mymemmap', dtype='float32', mode='r+', shape=(2,1000), 
       offset=150000*1000*32/8) 
b[1,2] = 999999. 
print a[150001,2] 
#999999.0 

Ora è possibile accedere e aggiornare qualsiasi parte della matrice in operazioni simultanee. Nota la dimensione in byte che va nel calcolo dell'offset. Quindi per un 'float64' questo esempio sarebbe 150000 * 1000 * 64/8.

Altri riferimenti:

• Is it possible to map a discontiuous data on disk to an array with python?

• numpy.memmap documentation here.

Answer 2

Si può solo decollare la memoria virtuale sul sistema operativo e utilizzare a 64-bit di pitone, fornendo è un 64-bit OS.