Archiviazione e accesso a 10 milioni di file in Linux

Question

Sto scrivendo un'app che deve memorizzare molti file fino a circa 10 milioni.

Sono attualmente denominati con un UUID e saranno circa 4 MB ciascuno ma sempre della stessa dimensione. Leggere e scrivere da/a questi file sarà sempre sequenziale.

domande

2 principali sto cercando risposte per:

1) Quali filesystem sarebbe meglio per questo. XFS o ext4? 2) Sarebbe necessario memorizzare i file sotto le sottodirectory per ridurre il numero di file all'interno di una singola directory?

Per la domanda 2, noto che le persone hanno tentato di scoprire il limite XFS per il numero di file che è possibile archiviare in una singola directory e non hanno trovato il limite superiore a milioni. Non hanno notato problemi di prestazioni. Che ne dici di ext4?

Cerca su Google googling con persone che fanno cose simili, alcune persone hanno suggerito di memorizzare il numero di inode come un collegamento al file invece del nome del file per le prestazioni (questo è in un indice di database, che sto usando anche). Tuttavia, non vedo un'API utilizzabile per aprire il file in base al numero di inode. Sembra che sia più un suggerimento per migliorare le prestazioni di ext3 che non intendo usare a proposito.

Quali sono i limiti di ext4 e XFS? Quali sono i vantaggi in termini di prestazioni di uno rispetto all'altro e potresti vedere un motivo per utilizzare ext4 su XFS nel mio caso?

Answer 1

È necessario memorizzare i file in sottodirectory.

EXT4 e XFS entrambi utilizzano metodi di ricerca efficienti per i nomi dei file, ma se fosse necessario eseguire gli strumenti sopra le directory come ls o find vi sarà molto contento di avere i file in blocchi gestibili di 1.000 - 10.000 file.

La cosa numero di inode è migliorare le prestazioni di accesso sequenziale dei file system EXT. I metadati sono memorizzati in inode e se si accede a questi inode fuori uso, gli accessi ai metadati sono randomizzati. Leggendo i tuoi file in ordine di inode si rende anche sequenziale l'accesso ai metadati.

Answer 2

I moderni filesystem consentono di memorizzare 10 milioni di file nella stessa directory, se lo si desidera. Ma gli strumenti (ls e i suoi amici) non funzioneranno bene.

Si consiglia di inserire un singolo livello di directory, un numero fisso, forse 1.000 directory e inserire i file (10.000 file sono tollerabili alla shell e "ls").

Ho visto sistemi che creano molti livelli di directory, questo è veramente superfluo e aumenta il consumo di inode e rallenta l'attraversamento.

Anche i file 10M non dovrebbero essere un problema, a meno che non sia necessario eseguire operazioni di massa su di essi.

Mi aspetto che sarà necessario sfoltire i vecchi file, ma qualcosa come "tmpwatch" probabilmente funzionerà perfettamente con i file 10M.