Naive Bayesian e problema a frequenza zero

Question

Penso di aver implementato la maggior parte correttamente. Una parte mi ha confuso:

Il problema di frequenza zero: Aggiungere 1 al conteggio per ogni combinazione di classe valore di attributo (stimatore Laplace) quando un valore di attributo non si verifica con ogni valore di classe.

Ecco alcuni dei miei codice client:

//Clasify 
string text = "Claim your free Macbook now!"; 
double posteriorProbSpam = classifier.Classify(text, "spam"); 
Console.WriteLine("-------------------------"); 
double posteriorProbHam = classifier.Classify(text, "ham"); 

Ora dire la parola 'libero' è presente nei dati di training da qualche parte

//Training 
classifier.Train("ham", "Attention: Collect your Macbook from store."); 
*Lot more here* 
classifier.Train("spam", "Free macbook offer expiring."); 

Ma la parola è presente nella mia dati di allenamento per la categoria 'spam' non solo in 'ham'. Quindi quando vado a calcolare posteriorProbHam cosa faccio quando mi imbatto nella parola 'free'.

Answer 1

Ancora aggiungerne uno. Il motivo: i modelli Naive Bayes P("free" | spam) e P("free" | ham) come completamente indipendenti, quindi si desidera stimare la probabilità di ciascuno in modo completamente indipendente. Lo stimatore di Laplace che stai utilizzando per P("free" | spam) è (count("free" | spam) + 1)/count(spam); P("ham" | spam) è lo stesso.

Se si pensa a cosa significherebbe non aggiungerne uno, non avrebbe davvero senso: vedere "libero" una volta nel prosciutto renderebbe meno probabile la visualizzazione "gratuita" nello spam.