scikits learn and nltk: prestazioni del classificatore Naive Bayes molto diverse

Question

Sto confrontando due classificatori di Naive Bayes: uno from NLTK e uno from scikit-learn. Ho a che fare con un problema di classificazione multi-classe (3 classi: positivo (1), negativo (-1) e neutro (0)).

Senza eseguire alcuna selezione di funzionalità (ovvero utilizzando tutte le funzioni disponibili) e utilizzando un set di dati di formazione di 70.000 istanze (con etichetta con etichetta, con una distribuzione di istanza del 17% positiva, 4% negativa e 78% neutra), Formulo due classificatori, il primo è nltk.NaiveBayesClassifier e il secondo è sklearn.naive_bayes.MultinomialNB (con fit_prior=True).

Dopo l'allenamento, ho valutato i classificatori sulla mia prova set di 30.000 casi e ottengo i seguenti risultati:

**NLTK's NaiveBayes** 
accuracy: 0.568740 
class: 1 
    precision: 0.331229 
    recall: 0.331565 
    F-Measure: 0.331355 
class: -1 
    precision: 0.079253 
    recall: 0.446331 
    F-Measure: 0.134596 
class: 0 
    precision: 0.849842 
    recall: 0.628126 
    F-Measure: 0.722347 


**Scikit's MultinomialNB (with fit_prior=True)** 
accuracy: 0.834670 
class: 1 
    precision: 0.400247 
    recall: 0.125359 
    F-Measure: 0.190917 
class: -1 
    precision: 0.330836 
    recall: 0.012441 
    F-Measure: 0.023939 
class: 0 
    precision: 0.852997 
    recall: 0.973406 
    F-Measure: 0.909191 

**Scikit's MultinomialNB (with fit_prior=False)** 
accuracy: 0.834680 
class: 1 
    precision: 0.400380 
    recall: 0.125361 
    F-Measure: 0.190934 
class: -1 
    precision: 0.330836 
    recall: 0.012441 
    F-Measure: 0.023939 
class: 0 
    precision: 0.852998 
    recall: 0.973418 
    F-Measure: 0.909197 

ho notato che mentre classificatore di Scikit ha una migliore precisione complessiva e precisione, il suo richiamo molto è basso rispetto a quello NLTK, almeno con i miei dati. Tenendo conto che potrebbero essere (quasi) gli stessi classificatori, non è strano?

Answer 1

Il comportamento predefinito per la classe pesa lo stesso in entrambe le librerie? La differenza di precisione per la classe rari (-1) sembra che potrebbe essere la causa ...

Answer 2

naive Bayes classificatore solito significa un classfier Bayesiano sopra caratteristiche binari che si presume siano indipendenti. Questo è ciò che gli attrezzi NLTK's Naive Bayes classifier. Il classificatore scikit corrispondente è il classificatore BernoulliNB.

La restrizione alle funzionalità con valori booleani non è effettivamente necessaria, è solo la più semplice da implementare. Un classificatore naive Bayes può essere definito per (assunte) funzioni indipendenti da qualsiasi distribuzione parametrica.

MultinomialNB è per dati con caratteristiche di input con valori interi che si presume siano distribuite multinomialmente.

Sckit ha anche GaussianNB quello per le funzionalità a valore continuo che si presumono distribuite equamente Gaussiane.