Conversione della funzione decisionale di LinearSVC in probabilità (Scikit learn python)

Question

Uso SVM lineare da scikit learn (LinearSVC) per problemi di classificazione binaria. Comprendo che LinearSVC può darmi le etichette previste e i punteggi decisionali, ma ho voluto delle stime di probabilità (fiducia nell'etichetta). Voglio continuare ad usare LinearSVC a causa della velocità (rispetto a sklearn.svm.SVC con kernel lineare) È ragionevole usare una funzione logistica per convertire i punteggi decisionali in probabilità?

import sklearn.svm as suppmach 
# Fit model: 
svmmodel=suppmach.LinearSVC(penalty='l1',C=1) 
predicted_test= svmmodel.predict(x_test) 
predicted_test_scores= svmmodel.decision_function(x_test) 

voglio verificare se ha senso per ottenere stime di probabilità semplicemente come [1/(1 + exp (-x))] dove x è il punteggio decisione.

In alternativa, ci sono altre opzioni su classificatori che posso usare per farlo in modo efficiente?

Grazie.

Answer 1

Ho dato un'occhiata all'apis in sklearn.svm. * Famiglia. Tutti i modelli al di sotto, ad esempio,

• sklearn.svm.SVC
• sklearn.svm.NuSVC
• sklearn.svm.SVR
• sklearn.svm.NuSVR

hanno un comune interface che fornisce un

probability: boolean, optional (default=False) 

parametro al mo del. Se questo parametro è impostato su True, libsvm formerà un modello di trasformazione di probabilità in cima alle uscite SVM in base all'idea di Platt Scaling. La forma di trasformazione è simile a una funzione logistica, come hai sottolineato, tuttavia due costanti specifiche A e B vengono apprese in una fase di post-elaborazione. Vedi anche questo post stackoverflow per maggiori dettagli.

Io in realtà non so perché questa post-elaborazione non è disponibile per LinearSVC. Altrimenti, chiamereste semplicemente predict_proba(X) per ottenere la stima di probabilità.

Ovviamente, se si applica solo una trasformazione logistica ingenua, non funzionerà altrettanto bene come un approccio calibrato come Platt Scaling. Se riesci a capire l'algoritmo di sottolineatura del ridimensionamento del platt, probabilmente puoi scrivere il tuo o contribuire alla famiglia di svm di scikit-learn. :) Sentitevi liberi di usare le quattro varianti SVM sopra che supportano predict_proba.

Answer 2

Se si desidera velocità, solo sostituire SVM con sklearn.linear_model.LogisticRegression. Questo utilizza esattamente lo stesso algoritmo di allenamento di LinearSVC, ma con perdita di log invece di perdita di cerniera.

L'utilizzo di [1/(1 + exp (-x))] genererà probabilità, in senso formale (numeri compresi tra zero e uno), ma non aderiranno a nessun modello di probabilità giustificabile.

Answer 3

scikit-learn fornisce CalibratedClassifierCV che può essere utilizzato per risolvere questo problema: permette di aggiungere uscita probabilità di LinearSVC o qualsiasi altro classificatore che implementa il metodo decision_function:

svm = LinearSVC() 
clf = CalibratedClassifierCV(svm) 
clf.fit(X_train, y_train) 
y_proba = clf.predict_proba(X_test) 

Manuale d'uso ha una bella section su quel . Per impostazione predefinita, CalibratedClassifierCV + LinearSVC ti offre il ridimensionamento di Platt, ma fornisce anche altre opzioni (metodo di regressione isotonica) e non è limitato ai classificatori SVM.

Answer 4

Se hai bisogno di velocità e probabilità, controlla xgboost. Xgboost ha aiutato le persone a vincere molte competizioni di apprendimento automatico Kaggle.

noti che è possibile utilizzare xgboost con sklearn, come ad esempio:

from xgboost.sklearn import XGBClassifier