Intuizione dietro Tf-idf per estrazione termine

Question

Sto provando a costruire un dizionario di parole usando Tf-idf. Tuttavia, intuitivamente non ha senso.

Se la parte Frequenza documento inversa (Idf) di Tf-Idf calcola la rilevanza di un termine rispetto all'intero corpus, allora ciò implica che alcune delle parole importanti potrebbero avere una rilevanza inferiore.

Se consideriamo un corpus di documenti legali, un termine come "Licenza" o "Legale" potrebbe verificarsi in ogni documento. A causa di Idf, il punteggio per questi termini sarà molto basso. Tuttavia, in termini intuitivi, questi termini dovrebbero avere un punteggio più alto poiché questi sono chiaramente termini legali.

È tf-idf un approccio errato per la creazione di un dizionario di termini?

Answer 1

Sì, questi termini sono legali. Tuttavia, TF/IDF non tenta di valutare se sono rilevanti per un dominio specifico. Ti aiutano a distruggere documenti da quel dominio. Se un termine come legal si verifica in ogni documento, non aiuterebbe un classificatore a distinguere questi documenti. Tuttavia, se si mescolano i documenti legali con una serie casuale di documenti. Scopriresti che diventano improvvisamente estremamente rilevanti. Esattamente perché ti consentirebbero di distinguere i documenti legali e gli altri documenti.

In pratica sono più comunemente utilizzati per rimuovere "tipo di" parole di arresto. Per esempio. The si verifica in ogni documento e non ha alcun significato.

Se TF/IDF è buono per la costruzione di un dizionario dipende molto da ciò che si vuole fare in seguito con questo dizionario.