quali sono i migliori criteri per la scelta tra le funzioni ets() e auto.arima() in R?

Question

Sto utilizzando le funzioni ets() e auto.arima() dal pacchetto di previsione per prevedere i valori futuri in R. Quali criteri dovrebbero essere utilizzati per scegliere il modello migliore tra questi due?

Di seguito è riportato l'output di precisione da ets (data.ets) e auto.arima (data.ar).

> accuracy(data.ets) 
    ME  RMSE  MAE  MPE  MAPE  MASE 
0.6995941 4.1325246 3.2634246 0.5402465 2.7777897 0.5573740 

> accuracy(data.ar) 
    ME  RMSE  MAE  MPE  MAPE  MASE 
-0.8215465 4.3640818 3.1070931 -0.7404200 2.5783128 0.5306735 

e l'AIC di ogni modello sono i seguenti

> ETSfit$aic 
[1] 613.8103 
> ARIMAfit$aic 
[1] 422.5597 

segue è il modello adattato sia ets e auto.arima

> ETSfit 
ETS(A,N,A) 

Call: 
ets(y = data.ts) 

Smoothing parameters: 
alpha = 0.5449 
gamma = 1e-04 

Initial states: 
l = 95.8994 
s=6.3817 -3.1792 6.8525 3.218 -3.4445 -1.2408 
     -4.5852 0.4434 1.7133 0.8123 -1.28 -5.6914 

sigma: 4.1325 

AIC  AICc  BIC 
613.8103 620.1740 647.3326 

> ARIMAfit 
Series: data.ts 
ARIMA(1,1,1)(0,1,1)[12]      

Coefficients: 
    ar1  ma1  sma1 
    0.3808 -0.7757 -0.7276 
s.e. 0.1679 0.1104 0.2675 

sigma^2 estimated as 22.68: log likelihood=-207.28 
AIC=422.56 AICc=423.19 BIC=431.44 

aiuto gentile.

Answer 1

Si stanno visualizzando misure di precisione all'interno del campione che sono difficili da confrontare senza sapere quanti parametri sono presenti in ciascun modello. Inoltre, i valori AIC non sono confrontabili tra queste classi di modelli.

L'approccio più semplice consiste nell'utilizzare un set di test che non viene utilizzato per la selezione o la stima del modello e quindi confrontare l'accuratezza delle previsioni sul set di test.

Una versione più sofisticata è quella di utilizzare la convalida incrociata delle serie temporali, come descritto allo http://otexts.com/fpp/2/5/.