RandomAccessFile in java legge l'intero file in memoria?

Question

Ho bisogno di leggere le ultime n righe da un file di grandi dimensioni (ad esempio 2 GB). Il file è codificato in UTF-8.

Vorrei conoscere il modo più efficiente per farlo. Leggi di RandomAccessFile in java, ma fa il metodo seek(), leggi l'intero file in memoria. Usa un'implementazione nativa quindi non ero in grado di riferire il codice sorgente.

Answer 1

1) RandomAccessFile.seek imposta solo la posizione corrente del puntatore del file, nessun byte viene letto nella memoria.

2) Poiché il file è codificato in UTF-8, è un file di testo. Per la lettura dei file di testo in genere si utilizza BufferedReader, Java 7 ha anche aggiunto un metodo di convinzioni File.newBufferedReader per creare un'istanza di BufferedReader per leggere il testo da un file. Sebbene possa essere inefficiente per la lettura delle ultime n righe, ma facile da implementare.

3) Per essere efficienti abbiamo bisogno di RandomAccessFile e di leggere i file a ritroso a partire dalla fine. Ecco un esempio di base

public static void main(String[] args) throws Exception { 
    int n = 3; 
    List<String> lines = new ArrayList<>(); 
    try (RandomAccessFile f = new RandomAccessFile("test", "r")) { 
     ByteArrayOutputStream bout = new ByteArrayOutputStream(); 
     for (long length = f.length(), p = length - 1; p > 0 && lines.size() < n; p--) { 
      f.seek(p); 
      int b = f.read(); 
      if (b == 10) { 
       if (p < length - 1) { 
        lines.add(0, getLine(bout)); 
        bout.reset(); 
       } 
      } else if (b != 13) { 
       bout.write(b); 
      } 
     } 
    } 
    System.out.println(lines); 
} 

static String getLine(ByteArrayOutputStream bout) { 
    byte[] a = bout.toByteArray(); 
    // reverse bytes 
    for (int i = 0, j = a.length - 1; j > i; i++, j--) { 
     byte tmp = a[j]; 
     a[j] = a[i]; 
     a[i] = tmp; 
    } 
    return new String(a); 
} 

E 'legge il file di byte dopo byte iniziale dalla coda alla ByteArrayOutputStream, quando LF viene raggiunta inverte i byte e crea una linea.

Due cose devono essere migliorate: 1) il buffering riconoscimento 2) EOL

Answer 2

Se avete bisogno di accesso casuale, è necessario RandomAccessFile. Puoi convertire i byte che ottieni da questo in UTF-8 se sai cosa stai facendo.

Se si utilizza BuffredReader, è possibile utilizzare skip (n) per numero di caratteri, il che significa che deve leggere l'intero file.

---

Un modo per farlo in combinazione; è quello di utilizzare FileInputStream con skip(), trovare dove si desidera leggere leggendo indietro N newlines e quindi avvolgere il flusso in BufferedReader per leggere le righe con la codifica UTF-8.