C'è un modo per utilizzare l'aumento gradiente della regressione usando Vowpal Wabbit? Uso varie tecniche fornite con Vowpal Wabbit che sono utili. Voglio provare a incrementare il gradiente insieme a questo, ma non riesco a trovare un modo per implementare l'aumento gradiente su VW.Aumento graduale di Vowpal Wabbit
5
A
risposta
9
L'idea di gradient boosting è che un modello di insieme è stato creato da modelli deboli black-box. Si può sicuramente usare VW come scatola nera, ma si noti che VW non offre alberi decisionali, che sono la scelta più popolare per i modelli deboli black-box in aumento. L'aumento generale riduce il bias (e aumenta la varianza), quindi è necessario assicurarsi che i modelli VW abbiano una bassa varianza (nessun sovradattamento). Vedi bias-variance tradeoff.
ci sono alcune riduzioni legate al rafforzamento e insaccamento in VW:
--autolink N
aggiunge una funzione di collegamento con il polinomio N, che può essere considerato un semplice modo di aumentare.--log_multi K
è un algoritmo di potenziamento online per la classificazione di classe K. Vedi the paper. Puoi usarlo anche per la classificazione binaria (K = 2), ma non per la regressione.--bootstrap M
Bootstrap M-way di ricampionamento di importanza online. Utilizzare--bs_type=vote
per la classificazione e--bs_type=mean
per la regressione. Notare che questo è bagging, non potenziato.--boosting N
(Aggiunto il 2015/06/17) on-line il richiamo con N allievi deboli, vedi a theoretic paper
Grazie per l'aiuto, lo apprezza! – breadnbutter
Un articolo molto rilevante su "Online Gradient Boosting" http://arxiv.org/abs/1506.04820 è stato pubblicato ieri. VW è menzionata lì. –