Come utilizzare l'algoritmo XGBoost per la regressione in R?

Question

Stavo provando la tecnica XGBoost per la previsione. Poiché la mia variabile dipendente è continua, stavo facendo la regressione usando XGBoost, ma la maggior parte dei riferimenti disponibili in vari portali sono per la classificazione. Anche se so utilizzando

objective = "reg:linear" 

possiamo fare la regressione, ma ancora ho bisogno di un po 'di chiarezza per gli altri parametri come bene. Sarebbe di grande aiuto se qualcuno mi potesse fornire un frammento R di esso.

Answer 1

xgboost(data = X, 
     booster = "gbtree", 
     objective = "binary:logistic", 
     max.depth = 5, 
     eta = 0.5, 
     nthread = 2, 
     nround = 2, 
     min_child_weight = 1, 
     subsample = 0.5, 
     colsample_bytree = 1, 
     num_parallel_tree = 1) 

Questi sono tutti i parametri che è possibile utilizzare mentre si utilizzano i ripetitori. Per richiamo lineare è possibile utilizzare i seguenti parametri con cui giocare ...

xgboost(data = X, 
     booster = "gblinear", 
     objective = "binary:logistic", 
     max.depth = 5, 
     nround = 2, 
     lambda = 0, 
     lambda_bias = 0, 
     alpha = 0) 

È possibile fare riferimento alla descrizione del xg.train() nel documento CRAN xgboost per significato dettagliata di questi parametri.

Answer 2

La migliore descrizione dei parametri che ho trovato è a

https://github.com/dmlc/xgboost/blob/master/doc/parameter.md

Ci sono molti esempi di utilizzo di XGBoost in R disponibili nel repository script Kaggle. Per esempio:

https://www.kaggle.com/michaelpawlus/springleaf-marketing-response/xgboost-example-0-76178/code