ordinamento di grandi dati di testo

Question

Ho un file di grandi dimensioni (100 milioni di righe di valori separati da tabulazione - circa 1,5 GB di dimensione). Qual è il modo più rapido per ordinare questo in base a uno dei campi?

Ho provato l'alveare. Mi piacerebbe vedere se questo può essere fatto più velocemente usando python.

Answer 1

Avete considerato l'utilizzo del programma * nix sort? in termini non elaborati, sarà probabilmente più veloce della maggior parte degli script Python.

Usa -t $'\t' per specificare che si tratta di separato da tabulazioni, -k n per specificare il campo, dove n è il numero di campo, e -o outputfile se si desidera emettere il risultato in un nuovo file. Esempio:

sort -t $'\t' -k 4 -o sorted.txt input.txt 

ordinerà input.txt sul suo quarto campo, e l'uscita il risultato di sorted.txt

Answer 2

avrei memorizzare il file in un buon database relazionale, l'indice sul campo siete interessati e poi leggi gli articoli ordinati.

Answer 3

si vuole costruire un indice in memoria per il file:

1. creare una lista vuota
2. open il file
3. leggerlo riga per riga (utilizzando f.readline(), e conservare in lista una tupla costituita dal valore su cui si desidera ordinare (estratto con line.split('\t').strip()) e l'offset della riga nel file (che è possibile ottenere chiamando f.tell() prima di chiamare f.readline())
4. close il file
5. sort lista

Poi per stampare il file ordinato, riaprire il file e per ogni elemento della vostra lista, utilizzare f.seek(offset) per spostare il puntatore del file all'inizio della riga, f.readline() a leggere la linea e print la linea.

Ottimizzazione: è possibile memorizzare la lunghezza della linea nell'elenco, in modo da poter utilizzare f.read(length) nella fase di stampa.

codice di esempio (ottimizzato per leggibilità, non di velocità):

def build_index(filename, sort_col): 
    index = [] 
    f = open(filename) 
    while True: 
     offset = f.tell() 
     line = f.readline() 
     if not line: 
      break 
     length = len(line) 
     col = line.split('\t')[sort_col].strip() 
     index.append((col, offset, length)) 
    f.close() 
    index.sort() 
    return index 

def print_sorted(filename, col_sort): 
    index = build_index(filename, col_sort) 
    f = open(filename) 
    for col, offset, length in index: 
     f.seek(offset) 
     print f.read(length).rstrip('\n') 

if __name__ == '__main__': 
    filename = 'somefile.txt' 
    sort_col = 2 
    print_sorted(filename, sort_col) 

Answer 4

contempla file che possono essere ordinati in memoria. Ordina ogni file in memoria. Quindi unire i file risultanti.

Unisci leggendo una porzione di ciascuno dei file da unire. La stessa quantità da ogni file che lascia abbastanza spazio in memoria per il risultato unito. Una volta uniti salvando questo. Ripetizione dell'aggiunta di blocchi di dati uniti nel file.

Ciò minimizza il file i/o e sposta il file sul disco.