Come ottenere il punteggio di confidenza di un classificatore per una previsione in sklearn?

Question

Mi piacerebbe ottenere un punteggio di confidenza di ciascuna delle previsioni che effettua, mostrando in che modo il classificatore è sicuro che è corretto.

voglio qualcosa di simile:

Come sicuro è il classificatore sulla sua previsione?

Classe 1: 81% che questo è di classe 1
Classe 2: 10%
Classe 3: 6%
Classe 4: 3%

Campioni del mio codice:

features_train, features_test, labels_train, labels_test = cross_validation.train_test_split(main, target, test_size = 0.4) 

# Determine amount of time to train 
t0 = time() 
model = SVC() 
#model = SVC(kernel='poly') 
#model = GaussianNB() 

model.fit(features_train, labels_train) 

print 'training time: ', round(time()-t0, 3), 's' 

# Determine amount of time to predict 
t1 = time() 
pred = model.predict(features_test) 

print 'predicting time: ', round(time()-t1, 3), 's' 

accuracy = accuracy_score(labels_test, pred) 

print 'Confusion Matrix: ' 
print confusion_matrix(labels_test, pred) 

# Accuracy in the 0.9333, 9.6667, 1.0 range 
print accuracy 



model.predict(sub_main) 

# Determine amount of time to predict 
t1 = time() 
pred = model.predict(sub_main) 

print 'predicting time: ', round(time()-t1, 3), 's' 

print '' 
print 'Prediction: ' 
print pred 

Sospetto che userò la funzione score(), ma mi sembra di continuare a implementarla correttamente. Non so se questa sia la funzione giusta o meno, ma come si otterrebbe la percentuale di confidenza della previsione di un classificatore?

Answer 1

Per il SVC documentation, sembra che è necessario cambiare il modo di costruire l'SVC:

model = SVC(probability=True) 

e quindi utilizzare il metodo predict_proba:

class_probabilities = model.predict_proba(sub_main) 

Answer 2

Per quegli estimatori attuazione predict_proba() metodo, come Justin Peel ha suggerito, puoi semplicemente usare predict_proba() per produrre probabilità sulla tua previsione.

Per gli stimatori che non implementano il metodo predict_proba(), è possibile costruire autonomamente l'intervallo di confidenza utilizzando il concetto di bootstrap (calcolare ripetutamente le stime dei punti in molti sottocampioni).

Fatemi sapere se avete bisogno di esempi dettagliati per dimostrare uno di questi due casi.