Soluzione alternativa alla perdita di memoria R con pacchetto XML

Question

Sto cercando di eseguire un semplice programma per estrarre tabelle dal codice html. Tuttavia, sembra esserci un problema di memoria con readHTMLTable nel pacchetto XML. C'è un modo per aggirare questo facilmente. Come in qualche modo specificando una memoria speciale per questo comando e quindi liberandolo manualmente.

Ho provato a mettere questo in una funzione e ho provato a utilizzare gc() e diverse versioni di R e questo pacchetto e nulla sembra funzionare. Inizio a disperarmi.

Codice di esempio. Come eseguirlo senza esplodere la dimensione della memoria?

library(XML) 
a = readLines("http://en.wikipedia.org/wiki/2014_FIFA_World_Cup") 
while(TRUE) { 
    b = readHTMLTable(a) 
    #do something with b 
} 

Edit: Qualcosa di simile avviene ancora tutta la mia memoria:

library(XML) 
a = readLines("http://en.wikipedia.org/wiki/2014_FIFA_World_Cup") 
f <- function(x) { 
    b = readHTMLTable(x) 
    rm(x) 
    gc() 
    return(b) 
} 

for(i in 1:100) { 
    d = f(a) 
    rm(d) 
    gc() 
} 
rm(list=ls()) 
gc() 

Sto usando vincere 7 e provato con 32bit e 64bit.

Answer 1

Ho avuto un sacco di problemi con perdite di memoria nel pakackage XML anche (sotto Windows e Linux), ma il modo in cui l'ho risolto alla fine è stato rimuovere l'oggetto alla fine di ogni passaggio di elaborazione, cioè aggiungere un rm (b) e un gc() alla fine di ogni iterazione. Fammi sapere se questo funziona anche per te.

Answer 2

Lo stesso problema qui, anche non facendo altro che leggere nel documento con doc <- xmlParse(...); root <- xmlRoot(doc), la memoria allocata a doc non viene mai rilasciata all'O/S (come monitorato nel Task Manager di Windows).

Una pazza idea che si possa provare è di utilizzare system("Rscript ...") per eseguire l'analisi XML in una sessione R separata, salvando l'oggetto R analizzato in un file, che viene quindi letto nella sessione R principale. Hacky, ma almeno garantirebbe che qualsiasi memoria venga inghiottita dall'analisi XML, viene rilasciata quando la sessione Rscript termina e non influisce sul processo principale!

Answer 3

A partire da XML 3.98-1.4 e R 3.1 su Win7, questo problema può essere risolto perfettamente utilizzando la funzione free(). Ma non funziona con readHTMLTable(). Il seguente codice funziona perfettamente.

library(XML) 
a = readLines("http://en.wikipedia.org/wiki/2014_FIFA_World_Cup") 
while(TRUE){ 
    b = xmlParse(paste(a, collapse = "")) 
    #do something with b 
    free(b) 
} 

Il pacchetto xml2 ha problemi simili e la memoria può essere rilasciato utilizzando la funzione remove_xml() seguito da gc().