Eine Prognose ist so gut wie ihr Test
Ein ARIMA(p,d,q)-Modell erklärt eine Reihe yₜ aus ihrer eigenen Vergangenheit und vergangenen Schocks, nach d-maligem Differenzieren: Bei d=0 ist ein AR(1) yₜ=c+φ yₜ₋₁+eₜ, mittelwertrückkehrend für |φ|<1 mit dem langfristigen Mittel μ=c/(1-φ). SARIMAX(y, order=(p, d, q), trend='c') passt es per Maximum Likelihood an; trend='c' fügt die Konstante hinzu, was nur bei d=0 Sinn ergibt (eine differenzierte Reihe hat kein Niveau, zu dem sie zurückkehrt). Das angepasste Objekt liefert params, aic und get_forecast(steps). Das AIC =2k-2ln L wägt Anpassung gegen die Parameterzahl k ab; unter Kandidaten auf denselben Daten wird das niedrigste AIC bevorzugt, aber erst ein Unterschied von einigen Punkten bedeutet etwas. Für die monatliche Log-Volatilität von SPY liegen ein ARMA(1,1) (AIC 271,9) und ein AR(2) (272,7) knapp vor dem AR(1) (275,0), und Differenzieren ist viel schlechter (290,5).
Die Anpassung in der Stichprobe sagt wenig über die Prognose. Der ehrliche Test ist der rollierende Ursprung: An jedem Ursprung t₀ nur auf y_1..t₀ anpassen, h Schritte vorausschätzen und mit dem tatsächlich eingetretenen Wert y_(t₀+h) vergleichen. Die Fehler sammeln und mit dem RMSE, √(Mittel(e²)), bewerten. Immer Vergleichsbasen mitführen: die naive Prognose (der letzte Wert) und das historische Mittel. Der Skill 1-RMSE_Modell/RMSE_Basis ist positiv, wenn das Modell gewinnt. Hier hat das AR(1) einen Monat voraus einen RMSE von 0,373 gegen 0,451 (naiv) und 0,419 (Mittel): Skill 0,17 und 0,11. Zwölf Monate voraus ist sein RMSE 0,526, identisch mit dem des Mittels, und sein Skill gegenüber der naiven Prognose (0,34) kommt nur vom Versagen der naiven: Die AR(1)-Prognose ist schlicht zum Mittel abgeklungen, von -2,09 auf -2,01. Zu wissen, wie schnell eine Prognose zum Mittel zurückkehrt, sagt, wie weit voraus das Modell etwas weiß.
- Konstante nur ohne Differenzieren; Ordnungen per AIC vergleichen und nur Unterschieden von einigen Punkten trauen.
- Rollierender Ursprung: an jedem Ursprung nur auf vergangenen Daten neu anpassen; nie eine Prognose an Daten bewerten, die die Anpassung sah.
- Immer eine Basis schlagen: die naive Prognose und das historische Mittel; Skill 1-RMSEₘ/RMSE_b.
Lab: Was bewertet wird
- Die SARIMAX-Anpassung10 Pkt.
- Punktprognosen10 Pkt.
- Ordnungen vergleichen15 Pkt.
- Fehler rollierender Ursprünge25 Pkt.
- Der RMSE5 Pkt.
- Prognose-Skill10 Pkt.
- Die Volatilitätsstudie25 Pkt.