Limite dimensione vettore R: "i vettori lunghi (argomento 5) non sono supportati in .C"

Question

Ho una matrice molto grande che sto cercando di eseguire su glmnet su un server con molta memoria. Funziona bene anche su molto grandi insiemi di dati fino a un certo punto, dopo che ottengo il seguente errore:

Error in elnet(x, ...) : long vectors (argument 5) are not supported in .C 

Se ho capito bene questo è causato da una limitazione in R che non può avere alcuna vettore con lunghezza maggiore di INT_MAX. È corretto? Ci sono soluzioni disponibili a questo che non richiedono una completa riscrittura di glmnet? Qualcuno degli interpreti R alternativi (Riposte, ecc.) Affronta questa limitazione?

Grazie!

Answer 1

Poiché la versione 3 R supporta i vettori lunghi. Un vettore lungo viene indicizzato da double. Un vettore lungo può essere una base per una matrice o un array di dimensioni superiori a 2 purché ogni dimensione sia sufficientemente piccola per essere indicizzabile con uno integer. I vettori lunghi non possono essere passati al codice nativo tramite .C e .Fortran. Il messaggio di errore che stai ricevendo è perché un vettore lungo viene passato tramite .C.

I vettori lunghi possono essere passati tramite .Call. Quindi, finché il codice nativo di glmnet potrebbe supportare i vettori lunghi (indici a 64 bit) o ​​potrebbe essere modificato/compilato per supportarlo, uno solo dovrebbe modificare l'interfaccia tra R e il codice nativo di glmnet. Puoi farlo manualmente in C e c'è anche un nuovo pacchetto chiamato dotCall64 per questa attività. Parte della modifica dell'interfaccia sta decidendo quando copiare gli argomenti - .C/.Fortran fa una copia preventiva, ma non si vuole farlo inutilmente con strutture di dati di grandi dimensioni.

Penso che la difficoltà di cambiare il codice nativo di glmnet per supportare indici a 64 bit dipende dal codice reale (che ho solo guardato ma non ho mai lavorato). È facile convertire tutti i numeri interi (o in modo esplicito o implicitamente interi a 32 bit) nel codice Fortran a 64 bit. I problemi arrivano quando alcuni numeri interi devono rimanere a 32 bit, e ciò avverrà per es. per i vettori interi passati da/a codice R, perché R usa numeri interi a 32 bit (anche nei vettori lunghi in effetti). Ci sono questi vettori interi passati in glmnet. Quanto è difficile la modifica dipende da quanto è pulito il codice Fortran originale (ad esempio se utilizza variabili intere separate per l'indicizzazione e l'accesso ai valori di matrici di interi, ecc.).

Implementazioni sperimentali di sottoinsiemi di R, come Riposte, non aiuteranno.

Answer 2

C'è una nota in cui si afferma ?"long vector":

However, compiled code typically needs quite extensive changes. Note that the .C and .Fortran interfaces do not accept long vectors, so .Call (or similar) has to be used.

elnet rende .Fortran chiamate. Dovresti modificare la funzione per utilizzare .Call, magari tramite un wrapper C che chiama il codice FORTRAN ed eventualmente riscrivere e compilare il codice FORTRAN pertinente per gestire i vettori lunghi.