Python carico 2 GB di file di testo nella memoria

Question

In Python 2.7, quando carico tutti i dati da un file di testo di 2,5 GB in memoria per l'elaborazione più veloce in questo modo:

>>> f = open('dump.xml','r') 
>>> dump = f.read() 

ho ottenuto il seguente errore:

Python(62813) malloc: *** mmap(size=140521659486208) failed (error code=12) 
*** error: can't allocate region 
*** set a breakpoint in malloc_error_break to debug 
Traceback (most recent call last): 
    File "<stdin>", line 1, in <module> 
MemoryError 

Perché Python ha tentato di allocare memoria 140521659486208 byte per i dati di 2563749237 byte? Come aggiusto il codice per far caricare tutti i byte?

Ho circa 3 GB di RAM gratuiti. Il file è un dump di Wikizionario xml.

Answer 1

Se si utilizza mmap, sarà possibile caricare immediatamente l'intero file nella memoria.

import mmap 

with open('dump.xml', 'rb') as f: 
    # Size 0 will read the ENTIRE file into memory! 
    m = mmap.mmap(f.fileno(), 0, prot=mmap.PROT_READ) #File is open read-only 

    # Proceed with your code here -- note the file is already in memory 
    # so "readine" here will be as fast as could be 
    data = m.readline() 
    while data: 
    # Do stuff 
    data = m.readline() 

Answer 2

Sulla base di alcune ricerche su google, mi sono imbattuto in this forum post che sembra risolvere il problema che sembra avere. Supponendo che tu stia utilizzando Mac o Linux in base al codice di errore, puoi provare a implementare la garbage collection con gc.enable() o gc.collect() come suggerito nel post del forum.