Iterate un grande insieme di file in una directory

Question

Ho una directory con 100.000 file e ho bisogno di iterarli tutti per leggere un valore. In questo momento io uso listFiles() per caricare tutti i file in una matrice e quindi iterare uno per uno. Ma esiste un modo efficiente di memoria per farlo senza caricare in un array?

File[] tFiles = new File(Dir).listFiles(); 

try { 
    for (final File tFile : tFiles) { 
     //Process files one by one 
    } 
} 

Answer 1

Poiché Java 7, è possibile utilizzare il modello di visitatore del file per visitare i contenuti di una directory in modo ricorsivo.

La documentazione per l'interfaccia FileVisitor è here.

Ciò consente di eseguire iterazioni sui file senza creare una vasta gamma di oggetti File.

semplice esempio per stampare i nomi di file:

Path start = Paths.get(new URI("file:///my/folder/")); 

Files.walkFileTree(start, new SimpleFileVisitor<Path>() { 
    @Override 
    public FileVisitResult visitFile(Path file, BasicFileAttributes attrs) 
     throws IOException 
    { 
     System.out.println(file); 
     return FileVisitResult.CONTINUE; 
    } 
    @Override 
    public FileVisitResult postVisitDirectory(Path dir, IOException e) 
     throws IOException 
    { 
     if (e == null) { 
      System.out.println(dir); 
      return FileVisitResult.CONTINUE; 
     } 
     else { 
      // directory iteration failed 
      throw e; 
     } 
    } 
}); 

Answer 2

Se si vuole evitare il boilerplate eccessivo che viene fornito con JDK di FileVisitor, è possibile utilizzare Guava. Files.fileTreeTraverser() ti dà una TreeTraverser<File> che si può usare per attraversare i file nella cartella (o anche sottocartelle):

for (File f : Files.fileTreeTraverser() 
        .preOrderTraversal(new File("/parent/folder"))) { 
    // do something with each file 
} 

Answer 3

Java 8 pigramente caricato versione corrente:

Files.list(new File("path to directory").toPath()).forEach(path -> { 
    File file = path.toFile(); 
    //process your file 
});