Modi per leggere solo selezionare colonne da un file in R? (Un mezzo felice tra `read.table` e` scan`?)

Question

Ho alcuni file di dati delimitati molto grandi e Voglio elaborare solo determinate colonne in R senza prendere tempo e memoria per creare un data.frame per il intero file.

Le uniche opzioni che conosco sono read.table che è molto dispendioso quando voglio solo un paio di colonne o scan che sembra livello troppo basso per quello che voglio.

Esiste un'opzione migliore, con R pura o forse chiamando altri script di shell per eseguire l'estrazione di colonne e quindi utilizzare scan o read.table sull'output? (Il che porta alla domanda su come chiamare uno script di shell e catturarne l'output in R?).

Answer 1

volte mi fare qualcosa di simile quando ho i dati in un file delimitato da tabulazioni:

df <- read.table(pipe("cut -f1,5,28 myFile.txt")) 

Ciò consente a cut di eseguire la selezione dei dati, operazione che è possibile eseguire senza utilizzare molta memoria.

Vedere Only read limited number of columns per la versione R pura, utilizzando "NULL" nell'argomento colClasses su read.table.

Answer 2

Una possibilità è utilizzare pipe() al posto del nome file e avere awk o filtri simili estrarre solo le colonne che si desidera.

Vedere help(connection) per ulteriori informazioni su pipe e amici.

Edit: read.table() può anche fare questo per voi se siete molto esplicito su colClasses - un valore NULL per una data colonna salta la colonna alltogether. Vedi help(read.table). Quindi, abbiamo una soluzione in base R senza pacchetti o strumenti aggiuntivi.

Answer 3

Penso che l'approccio di Dirk sia semplice e veloce. Un'alternativa che ho usato è di caricare i dati in sqlite che carica MOLTO più velocemente di read.table() e poi estrae solo quello che vuoi. il pacchetto sqldf() rende tutto abbastanza semplice. Here's a link a una precedente risposta di overflow dello stack che fornisce esempi di codice per sqldf().

Answer 4

Questo è probabilmente più del necessario, ma se si opera su molto grandi insiemi di dati, allora si potrebbe anche dare un'occhiata a the HadoopStreaming package che fornisce una mappa-ridurre di routine utilizzando Hadoop.

Answer 5

Esiste un pacchetto, colbycol, progettato per fare esattamente quello che stai cercando:

http://cran.r-project.org/web/packages/colbycol/index.html