MATLAB - Elimina elementi di file binari senza caricare l'intero file

Question

Questa potrebbe essere una domanda stupida, ma la documentazione di Google e MATLAB mi ha deluso. Ho un file binario piuttosto grande (> 10 GB) che ho bisogno di aprire ed eliminare gli ultimi quaranta milioni di byte o giù di lì. C'è un modo per farlo senza leggere l'intero file in memoria in blocchi e stamparlo su un nuovo file? Ci sono volute 6 ore per generare il file, quindi sono preoccupato al pensiero di rileggere il tutto.

EDIT:

Il file è 14,440,000,000 byte di dimensione. Ho bisogno di tagliarlo a 14.400.000.000.

Answer 1

Ho trovato che Perl è molto più veloce a farlo rispetto a MATLAB.

Ecco due esempi: Perl Cookbook

truncate(HANDLE, $length) 
    or die "Couldn't truncate: $!\n"; 

truncate("/tmp/$$.pid", $length) 
    or die "Couldn't truncate: $!\n"; 

è possibile eseguire script Perl da MATLAB con PERL la funzione.

Answer 2

Non so se MATLAB supporta questo, ma vedere ftruncate() and truncate().

Answer 3

Poiché non si desidera leggere il file in MATLAB (comprensibilmente), si tratta di comandi a livello di sistema. MATLAB ha la caratteristica di chiamare comandi di sistema utilizzando il "sistema" di comando

system

Così ora il problema si riduce a trovare il comando di shell nel vostro sistema operativo che lo farà per voi. Oppure puoi scrivere un programma usando truncate() (unix - KennyTM) o SetEndOfFile (windows)

Answer 4

Non c'è ftruncate() in Matlab, ma è possibile accedere alla libreria standard Java completa nella JVM incorporata in Matlab e utilizzare java.io.RandomAccessFile o le classi Java NIO per troncare un file.

Ecco una funzione di Matlab che chiama su Java per ritagliare gli ultimi n byte da un file. Dovrebbe avere un costo I/O minimo.

function remove_last_n_bytes_from_file(file, n) 

jFile = java.io.RandomAccessFile(file, 'rw'); 
currentLength = jFile.length(); 
wantLength = currentLength - n; 
fprintf('Truncating file %s: Resizing to %d to remove %d bytes\n', file, wantLength, n); 
jFile.setLength(wantLength); 
jFile.close(); 

Si potrebbe anche fare come one-liner.

java.io.RandomAccessFile('/path/to/my/file.bin', 'rw').setLength(n);