R - readRDS() e load() sicuro invia data.tables identiche all'originale

Question

Sfondo

Ho provato a sostituire alcuni file di output CSV con rds file per migliorare l'efficienza. Questi sono file intermedi che serviranno da input per altri script R.

Domanda

ho iniziato a indagare quando i miei script non è riuscito e ha scoperto che readRDS() e load() non tornano identiche data tables come l'originale. Questo dovrebbe succedere? O mi sono perso qualcosa?

codice di esempio

library(data.table) 

aDT <- data.table(a=1:10, b=LETTERS[1:10]) 
saveRDS(aDT, file = "aDT.rds") 
bDT <- readRDS(file = "aDT.rds") 
identical(aDT, bDT, ignore.environment = T) # Gives 'False' 

aDF <- data.frame(a=1:10, b=LETTERS[1:10]) 
saveRDS(aDF, file = "aDF.rds") 
bDF <- readRDS(file = "aDF.rds") 
identical(aDF, bDF, ignore.environment = T) # Gives 'True' 

# Using 'save'& 'load' doesn't help either 
aDT2 <- data.table(a=1:10, b=LETTERS[1:10]) 
save(aDT2, file = "aDT2.RData") 
bDT2 <- aDT2; rm(aDT2) 
load(file = "aDT2.RData") 
identical(aDT2, bDT2, ignore.environment = T) # Gives 'False' 

Sono in esecuzione R ver 3.2.0 su Linux Mint e testato con data.table ver 1.9.4 e 1.9.5 (l'ultima).

La ricerca in SO e Google ha restituito this e this ma non penso che rispondano a questo problema. Sto ancora cercando di capire perché i miei script hanno fallito quando sono passato a rds ma sto iniziando con questo.

Apprezzeremmo molto se i membri SO ben informati possono aiutare. Grazie!

Edit:

Ciao a tutti, mi è capitato di trovare un modo per risolvere il problema - hanno inviato la soluzione qui di seguito. Mi scuso se è piuttosto inelegante. Ora ho altre 2 domande:

(1) Esiste un modo migliore?

(2) È possibile eseguire qualcosa sul codice R e/o data.table per risolvere questo problema? Voglio dire, questo problema causa bug imprevedibili e non è la prima cosa che mi viene in mente. I miei 2 centesimi.

Answer 1

Il nuovo carico data.table non conosce il valore del puntatore di quello già caricato. Si potrebbe dire con

attributes(bDT)$.internal.selfref <- attributes(aDT)$.internal.selfref 
identical(aDT, bDT, ignore.environment = T) 
# [1] TRUE 

data.frame non tenere questo attributo, probabilmente perché non fanno in atto la modifica.

Answer 2

Probabilmente, questo ha a che fare con i puntatori:

attributes(aDT) 
$names 
[1] "a" "b" 

$row.names 
[1] 1 2 3 4 5 6 7 8 9 10 

$class 
[1] "data.table" "data.frame" 

$.internal.selfref 
<pointer: 0x0000000000390788> 

> attributes(bDT) 
$names 
[1] "a" "b" 

$row.names 
[1] 1 2 3 4 5 6 7 8 9 10 

$class 
[1] "data.table" "data.frame" 

$.internal.selfref 
<pointer: (nil)> 

> attributes(bDF) 
$names 
[1] "a" "b" 

$row.names 
[1] 1 2 3 4 5 6 7 8 9 10 

$class 
[1] "data.frame" 

> attributes(aDF) 
$names 
[1] "a" "b" 

$row.names 
[1] 1 2 3 4 5 6 7 8 9 10 

$class 
[1] "data.frame" 

Potete strettamente guardare a ciò che sta succedendo con .Internal(inspect(.)) comando:

.Internal(inspect(aDT)) 

.Internal(inspect(bDT)) 

Answer 3

mi capita di trovare un modo che risolve il problema (dichiarazione di non responsabilità : è un modo piuttosto inelegante ma funziona!) - aggiungendo quindi l'eliminazione di una colonna fittizia nel data table caricato conduce a identical in "True". Ho anche sostituito con successo csv con i file intermedi rds nel mio codice.

Per essere onesto, non capisco abbastanza del funzionamento interno di R né di data table per sapere perché funziona, quindi qualsiasi spiegazione e/o soluzioni più eleganti sarebbero benvenute.

library(data.table) 

aDT <- data.table(a=1:10, b=LETTERS[1:10]) 
saveRDS(aDT, file = "aDT.rds") 
bDT <- readRDS(file = "aDT.rds") 
identical(aDT, bDT, ignore.environment = T) # Gives 'False' 

bDT[ , aaa := NA ]; bDT[ , aaa := NULL ] 
identical(aDT, bDT, ignore.environment = T) # Now gives 'True' 


# Using the add-del-col 'trick' works here too 
aDT2 <- data.table(a=1:10, b=LETTERS[1:10]) 
save(aDT2, file = "aDT2.RData") 
bDT2 <- aDT2; rm(aDT2) 
load(file = "aDT2.RData") 
identical(aDT2, bDT2, ignore.environment = T) # Gives 'False' 

aDT2[ , aaa := NA ]; aDT2[ , aaa := NULL ] 
identical(aDT2, bDT2, ignore.environment = T) # Now gives 'True' 

Answer 4

La soluzione è quella di utilizzare setDT dopo load o readRDS

aDT2 <- readRDS("aDT2.RData") 
setDT(aDT2) 

fonte: Adding new columns to a data.table by-reference within a function not always working