Unione di due dati frame utilizzando Fuzzy/approssimativa stringa corrispondente in R

Question

DESCRIZIONE

ho due set di dati con le informazioni che ho bisogno di unire. Gli unici campi comuni che ho sono stringhe che non corrispondono perfettamente e un campo numerico che può essere sostanzialmente diverso

L'unico modo per spiegare il problema è mostrarti i dati. Ecco a.csv e b.csv. Sto cercando di unire B a A.

Ci sono tre campi in B e quattro in A. Nome società (solo file A), nome del fondo, classe di asset e attività. Finora, la mia attenzione si è concentrata sul tentativo di abbinare i nomi del Fondo con la sostituzione di parole o parti di stringhe per creare corrispondenze esatte e quindi utilizzando:

a <- read.table(file = "http://bertelsen.ca/R/a.csv",header=TRUE, sep=",", na.strings=F, strip.white=T, blank.lines.skip=F, stringsAsFactors=T) 
b <- read.table(file = "http://bertelsen.ca/R/b.csv",header=TRUE, sep=",", na.strings=F, strip.white=T, blank.lines.skip=F, stringsAsFactors=T) 
merge(a,b, by="Fund.Name") 

Tuttavia, questo mi porta solo a circa il 30% di corrispondenza. Il resto devo fare a mano.

Le risorse sono un campo numerico che non è sempre corretto in entrambi e può variare in modo anomalo se il fondo ha scarse risorse. Asset Class è un campo stringa che è "generalmente" lo stesso in entrambi i file, tuttavia, vi sono discrepanze.

Aggiunta alla complicazione sono diverse serie di fondi, in File B. Per esempio:

AGF Canadian Valore

AGF Canadian Value-D

In questi casi, Devo scegliere quello che non è seried, o scegliere quello che è chiamato "A", "-A" o "Advisor" come la corrispondenza.

DOMANDA

Cosa diresti è l'approccio migliore? Questo esercizio è qualcosa che devo fare su base mensile e abbinarli manualmente è incredibilmente dispendioso in termini di tempo. Esempi di codice sarebbero strumentali.

IDEE

Un metodo che penso possa funzionare è normalizzare le corde in base alla prima lettera maiuscola di ogni parola nella stringa. Ma non sono stato in grado di capire come farlo usando R.

Un altro metodo che ho preso in considerazione è stato la creazione di un indice di corrispondenze basato su una combinazione di risorse, nome del fondo, classe di attivi e società. Ma di nuovo, non sono sicuro di come farlo con R. O, se è per quello, se è possibile.

Esempi di codice, commenti, pensieri e direzione sono molto apprezzati!

Answer 1

string matching approssimativa non è una buona idea, dato che delle partite non corretta potrebbe invalidare l'intera analisi. Se i nomi di ogni fonte sono sempre gli stessi, allora anche la costruzione degli indici sembra l'opzione migliore per me. Questo è fatto facilmente in R:

Supponiamo di avere i dati:

a<-data.frame(name=c('Ace','Bayes'),price=c(10,13)) 
b<-data.frame(name=c('Ace Co.','Bayes Inc.'),qty=c(9,99)) 

costruire un indice dei nomi per ogni fonte di una volta, magari utilizzando pmatch ecc come punto di partenza e quindi convalidare manualmente.

a.idx<-data.frame(name=c('Ace','Bayes'),idx=c(1,2)) 
b.idx<-data.frame(name=c('Ace Co.','Bayes Inc.'), idx=c(1,2)) 

Poi per ogni merge eseguito utilizzando:

a.rich<-merge(a,a.idx,by="name") 
b.rich<-merge(b,b.idx,by="name") 
merge(a.rich,b.rich,by="idx") 

che darebbe a noi:

idx name.x price  name.y qty 
1 1 Ace 10 Ace Co. 9 
2 2 Bayes 13 Bayes Inc. 99 

Answer 2

Un suggerimento rapido: provare a fare un po 'di corrispondenza sui diversi campi separatamente prima di utilizzare l'unione. L'approccio più semplice è con la funzione pmatch, sebbene R non manchi di funzioni di corrispondenza del testo (ad esempio agrep).Ecco un semplice esempio:

pmatch(c("med", "mod"), c("mean", "median", "mode")) 

Per il vostro set di dati, questo corrisponde a tutti i nomi del fondo di a:

> nrow(merge(a,b,x.by="Fund.Name", y.by="Fund.name")) 
[1] 58 
> length(which(!is.na(pmatch(a$Fund.Name, b$Fund.name)))) 
[1] 238 

Una volta creato le partite, si può facilmente unire insieme utilizzare quelli invece.

Answer 3

Sono un cittadino canadese, riconosco i nomi dei fondi.

Questo è difficile poiché ciascuno dei fornitori di dati sceglie il proprio modulo per i singoli nomi di fondi. Alcuni usano strutture diverse come tutte le estremità in entrambi i fondi o in altre classi. Ognuno sembra scegliere le proprie forme corte e queste cambiano regolarmente.

Ecco perché così tante persone come te stanno facendo questo a mano regolarmente. Alcune società di consulenza elencano gli indici per collegare varie fonti, non sono sicuro se hai esplorato quella strada?

Come ha sottolineato Shane e Marek, si tratta di un compito di abbinamento più che di un join diretto. Molte aziende stanno lottando con questo. Sono nel bel mezzo del mio lavoro su questo ...

Jay

Answer 4

è altamente consigliato di utilizzare il pacchetto dgrtwo/fuzzyjoin. stringdist_inner_join(a,b, by="Fund.Name")