Prognosebewertung

Eine Prognose ehrlich bewerten

Eine Prognose ist nur so viel wert, wie sie auf ungesehenen Daten leistet. Das ehrliche Verfahren für Zeitreihen ist Walk-Forward: das Modell auf der Vergangenheit anpassen, den nächsten Wert (oder Block) prognostizieren, den Fehler notieren, das Fenster weiterschieben und wiederholen. Beobachtungen dürfen nie gemischt oder zufällig geteilt werden, denn ein Modell, das mit Tagen nach dem vorhergesagten Tag trainiert wurde, hat in die Zukunft geschaut. Der Prognosefehler ist $e_t=y_t-\hat y_t$. Übliche Maße sind der mittlere absolute Fehler, $\mathrm{MAE}=\frac1n\sum|e_t|$, und die Wurzel des mittleren quadratischen Fehlers, $\mathrm{RMSE}=\sqrt{\frac1n\sum e_t^{2}}$, die große Fehler stärker bestraft.

Varianz wird nie beobachtet, daher wird eine Volatilitätsprognose $h_t$ gegen einen Näherungswert $\tilde\sigma_t^{2}$ wie die quadrierte Rendite oder die realisierte Varianz bewertet. Weil der Näherungswert verrauscht ist, muss der Verlust sorgfältig gewählt werden: Der quadratische Fehler auf der Varianz wird von wenigen großen Tagen dominiert, während QLIKE, $L=\tilde\sigma^{2}/h-\ln(\tilde\sigma^{2}/h)-1$, robuster ist und das Unterschätzen der Varianz stärker bestraft als ein Überschätzen um denselben Faktor. Vergleichen Sie stets mit einem naiven Maßstab, etwa dem gestrigen Wert oder dem historischen Mittel. Das Out-of-Sample-$R^{2}_{\mathrm{OOS}}$ vergleicht Summen quadrierter Fehler: Es ist nur positiv, wenn das Modell den Maßstab schlägt. Ob ein Verlustunterschied echt oder Zufall ist, entscheidet die Diebold-Mariano-Statistik: Ist $d_t$ die Verlustdifferenz zweier Modelle, ist $\mathrm{DM}=\bar d/\mathrm{se}(\bar d)$ ungefähr standardnormal, also ist $|\mathrm{DM}|>1{,}96$ auf dem 5-%-Niveau signifikant. Bei Mehrschrittprognosen überlappen die $d_t$, und der Standardfehler muss Autokorrelation zulassen. Das beste von vielen Modellen auf denselben Testdaten auszuwählen überschätzt seine Güte.

• Walk-Forward: auf der Vergangenheit anpassen, den nächsten Block prognostizieren, weitergehen; Zeitreihen nie mischen.
• QLIKE ist robust für Varianzprognosen und bestraft Unterschätzung stärker; mit einem naiven Maßstab vergleichen.
• Diebold-Mariano: $\mathrm{DM}=\bar d/\mathrm{se}(\bar d)$ prüft, ob sich zwei Prognosen wirklich unterscheiden; $|\mathrm{DM}|>1{,}96$ ist signifikant.

Lab: Was bewertet wird

• Mittlerer absoluter Fehler10 Pkt.
• Wurzel des mittleren quadratischen Fehlers15 Pkt.
• Ein QLIKE-Verlust15 Pkt.
• Out-of-Sample-R²15 Pkt.
• Eine Diebold-Mariano-Statistik10 Pkt.
• Warum nicht mischen10 Pkt.
• Begriffe zuordnen15 Pkt.
• Einen naiven Maßstab schlagen10 Pkt.