squilibrio dei dati in SVM utilizzando libSVM

Question

Come devo impostare i parametri di gamma e costo in libSVM quando utilizzo un set di dati sbilanciato composto dal 75% di etichette "true" e 25% di "false" etichette? Sto ottenendo un errore costante di avere tutte le etichette previste impostate su "True" a causa dello squilibrio dei dati.

Se il problema non è con libSVM, ma con il mio set di dati, come dovrei gestire questo squilibrio dal punto di vista di Teoretical Machine Learning? * Il numero di funzioni che sto usando è tra 4-10 e ho un piccolo set di 250 punti dati.

Answer 1

Classi squilibrio non ha nulla a che fare con la selezione di C e gamma, per affrontare questo problema è necessario utilizzare il class weighting scheme che è Disponibile in per esempio scikit-learn pacchetto (costruito su libsvm)

Selezione dei migliori C e gamma viene eseguito utilizzando la ricerca della griglia con convalida incrociata. Si consiglia di provare un vasto intervallo di valori, per C è ragionevole scegliere valori tra 1 e 10^15 mentre un valore euristico semplice e buono dei valori di intervallo gamma consiste nel calcolare le distanze a coppie tra tutti i punti dati e selezionare la gamma in base ai percentili di questo distribuzione - pensare di inserire in ogni punto una distribuzione gaussiana con varianza uguale a 1/gamma - se si seleziona tale gamma che questa distribuzione si sovrappone a molti punti si otterrà il modello molto "liscio", mentre si utilizzano piccoli cavi di varianza per il sovradattamento.

Answer 2

I set di dati sbilanciati possono essere affrontati in vari modi. Il bilanciamento della classe non ha alcun effetto sui parametri del kernel come gamma per il kernel RBF.

I due approcci più popolari sono:

1. utilizzare diverse sanzioni di errata classificazione per classe, questo significa cambiare C. In genere la classe più piccola viene pesata più in alto, un approccio comune è npos * wpos = nneg * wneg. LIBSVM ti permette di farlo usando i suoi flag -wX.
2. Sottocampione della classe sovrarappresentata per ottenere una quantità uguale di positivi e negativi e procedere con l'allenamento come si farebbe tradizionalmente per un set bilanciato. Prendi nota del fatto che in questo modo ignori sostanzialmente una grande porzione di dati, che è intuitivamente una cattiva idea.

Answer 3

So che è stato chiesto qualche tempo fa, ma mi piacerebbe rispondere perché potresti trovare utile la mia risposta.

Come altri hanno già detto, è possibile prendere in considerazione l'utilizzo di pesi diversi per le classi di minoranza o l'utilizzo di penalità di errata classificazione diverse. Tuttavia, esiste un modo più intelligente di gestire i set di dati sbilanciati.

È possibile utilizzare il percosse (S ynthetic M inority O ver-campionamento Te chnique ) algoritmo per generare i dati di sintesi per la classe di minoranza. È un algoritmo semplice che può gestire abbastanza bene alcuni set di dati di sbilanciamento.

In ogni iterazione dell'algoritmo, SMOTE considera due istanze casuali della classe di minoranza e aggiunge un esempio artificiale della stessa classe da qualche parte nel mezzo. L'algoritmo continua a iniettare il set di dati con i campioni fino a quando le due classi diventano equilibrate o altri criteri (ad esempio aggiungono un certo numero di esempi). Di seguito è possibile trovare un'immagine che descrive l'algoritmo per un semplice set di dati nello spazio delle funzionalità 2D.

L'associazione del peso con la classe di minoranza è un caso speciale di questo algoritmo. Quando si associa il peso $ w_i $ con l'istanza i, in pratica si aggiungono le istanze $ w_i - 1 $ in aggiunta all'istanza i!

• Quello che dovete fare è quello di aumentare il vostro set di dati iniziale con i campioni creati da questo algoritmo, e formare la SVM con questo nuovo set di dati. Puoi anche trovare molte implementazioni online in diverse lingue come Python e Matlab.

• Ci sono state altre estensioni di questo algoritmo, posso indicarti più materiali se vuoi.

• Per testare il classificatore è necessario dividere l'insieme di dati in prova e in treno, aggiungere istanze di sintesi per il set di treno (non aggiungere al set TEST), il training del modello sul set treno, e, infine, testarlo sul set di test. Se si considerano le istanze generate durante il test, si otterrà una precisione e un richiamo prevenuti (e ridicolmente più alti).