modo più efficiente per trovare & tar milioni di file

Question

Ho un lavoro in esecuzione sul mio server alla riga di comando per due giorni:

find data/ -name filepattern-*2009* -exec tar uf 2009.tar {} ; 

sta prendendo sempre, e poi qualche. Sì, ci sono milioni di file nella directory di destinazione. (Ogni file è un misero 8 byte in una struttura di directory ben hash). Ma solo in esecuzione ...

find data/ -name filepattern-*2009* -print > filesOfInterest.txt 

... richiede solo due ore o giù di lì. Al ritmo del mio lavoro, non sarà finito per un paio di settimane .. Sembra irragionevole. C'è un modo più efficiente per farlo? Forse con uno script bash più complicato?

Una domanda secondaria è "perché il mio approccio attuale è così lento?"

Answer 1

Se hai già fatto il secondo comando che creato l'elenco dei file, basta usare l'opzione -T per dire a tar di leggere i nomi dei file da quella lista di file salvata. L'esecuzione di 1 comando tar vs N comandi tar sarà molto meglio.

Answer 2

C'è xargs per questo:

find data/ -name filepattern-*2009* -print0 | xargs -0 tar uf 2009.tar 

Indovinare perché è lento è difficile come non ci sono molte informazioni. Qual è la struttura della directory, quale filesystem usi, come è stato configurato per la creazione. Avere milioni di file in una singola directory è una situazione abbastanza difficile per la maggior parte dei file system.

Answer 3

Il modo in cui al momento si dispone, si sta invocando il comando tar ogni volta che trova un file, che non è sorprendentemente lento. Invece di prendere le due ore per stampare più il tempo necessario per aprire l'archivio tar, vedere se i file non sono aggiornati e aggiungerli all'archivio, in realtà stai moltiplicando le volte. Potresti avere un successo migliore invocando il comando tar una volta, dopo aver raggruppato tutti i nomi, eventualmente usando xargs per ottenere l'invocazione. A proposito, spero che tu stia usando 'filepattern- * 2009 *' e non filepattern- * 2009 * poiché le stelle saranno espanse dalla shell senza virgolette.

Answer 4

Una possibilità è quella di utilizzare cpio per generare un archivio tar-formato:

$ find data/ -name "filepattern-*2009*" | cpio -ov --format=ustar > 2009.tar 

cpio funziona in modo nativo con un elenco di nomi di file da stdin, piuttosto che una directory di livello superiore, che rende è uno strumento ideale per questa situazione.

Answer 5

Ecco una combinazione ritrovamento di catrame che può fare ciò che si vuole, senza l'uso di xargs o exec (che dovrebbe sfociare in un'accelerazione notevole):

tar --version # tar (GNU tar) 1.14 

# FreeBSD find (on Mac OS X) 
find -x data -name "filepattern-*2009*" -print0 | tar --null --no-recursion -uf 2009.tar --files-from - 

# for GNU find use -xdev instead of -x 
gfind data -xdev -name "filepattern-*2009*" -print0 | tar --null --no-recursion -uf 2009.tar --files-from - 

# added: set permissions via tar 
find -x data -name "filepattern-*2009*" -print0 | \ 
    tar --null --no-recursion --owner=... --group=... --mode=... -uf 2009.tar --files-from - 

Answer 6

Per gestire correttamente i nomi di file con caratteri bizzarri (ma legali) (come le nuove linee, ...) è necessario scrivere l'elenco dei file su filesOfInterest.txt utilizzando -print0 del ritrovamento:

find -x data -name "filepattern-*2009*" -print0 > filesOfInterest.txt 
tar --null --no-recursion -uf 2009.tar --files-from filesOfInterest.txt 

Answer 7

più semplice (anche rimuovere il file dopo la creazione archivio):

find *.1 -exec tar czf '{}.tgz' '{}' --remove-files \;