Évaluation des prévisions

Noter une prévision honnêtement

Une prévision ne vaut que ce qu'elle réalise sur des données qu'elle n'a pas vues. La procédure honnête pour les séries temporelles est le walk-forward : ajuster le modèle sur le passé, prévoir la valeur (ou le bloc) suivante, noter l'erreur, avancer la fenêtre et recommencer. Il ne faut jamais mélanger les observations ni les séparer au hasard, car un modèle entraîné sur des jours postérieurs à celui qu'il prédit a regardé le futur. L'erreur de prévision est $e_t=y_t-\hat y_t$ . Les scores courants sont l'erreur absolue moyenne, $\mathrm{MAE}=\frac1n\sum|e_t|$ , et la racine de l'erreur quadratique moyenne, $\mathrm{RMSE}=\sqrt{\frac1n\sum e_t^{2}}$ , qui punit davantage les grandes erreurs.

\mathrm{RMSE}=\sqrt{\frac1n\sum_{t}e_t^{2}},\qquad L_{\mathrm{QLIKE}}=\frac{\tilde\sigma_t^{2}}{h_t}-\ln\frac{\tilde\sigma_t^{2}}{h_t}-1,\qquad R^{2}_{\mathrm{OOS}}=1-\frac{\sum (e^{M}_{t})^{2}}{\sum (e^{B}_{t})^{2}},\qquad \mathrm{DM}=\frac{\bar d}{\mathrm{se}(\bar d)}

(1)

La variance n'est jamais observée, donc une prévision de volatilité $h_t$ est notée contre un indicateur $\tilde\sigma_t^{2}$ comme le rendement au carré ou la variance réalisée. L'indicateur étant bruité, la perte doit être choisie avec soin : l'erreur quadratique sur la variance est dominée par quelques grands jours, alors que la QLIKE, $L=\tilde\sigma^{2}/h-\ln(\tilde\sigma^{2}/h)-1$ , est plus robuste et pénalise davantage une sous-prévision de variance qu'une sur-prévision du même facteur. Comparez toujours à une référence naïve, par exemple la valeur d'hier ou la moyenne historique. Le $R^{2}_{\mathrm{OOS}}$ hors échantillon compare les sommes d'erreurs au carré : il est positif seulement si le modèle bat la référence. Pour décider si une différence de perte est réelle ou due au hasard, on utilise la statistique de Diebold-Mariano : avec $d_t$ la différence de perte entre deux modèles, $\mathrm{DM}=\bar d/\mathrm{se}(\bar d)$ est à peu près normale centrée réduite, donc $|\mathrm{DM}|>1{,}96$ est significatif à 5 %. Quand les prévisions portent à plusieurs pas, les $d_t$ se recouvrent et l'erreur type doit tenir compte de l'autocorrélation. Choisir le meilleur de nombreux modèles sur les mêmes données de test surestime son mérite.

Des erreurs et une perte de varianceQuatre erreurs de prévision

1,\,-2,\,0,\,3

donnent

\mathrm{MAE}=6/4=1{,}5

\mathrm{RMSE}=\sqrt{(1+4+0+9)/4}=\sqrt{3{,}5}\approx1{,}87

: l'erreur isolée de 3 tire le RMSE au-dessus du MAE. Pour une prévision de volatilité, prenons une variance proxy de

4

. Prédire

h=2

(la moitié) coûte

2-\ln2-1\approx0{,}31

en QLIKE. Prédire

h=8

(le double) coûte

0{,}5-\ln0{,}5-1\approx0{,}19

. Le même facteur d'erreur est plus puni quand la variance est sous-prévue, c'est le sens dangereux pour les limites de risque. Un modèle de somme d'erreurs au carré

80

face à

100

pour la référence a un

R^{2}_{\mathrm{OOS}}=1-80/100=0{,}20

Walk-forward : ajuster sur le passé, prévoir le bloc suivant, avancer ; ne jamais mélanger une série temporelle.
QLIKE est robuste pour les prévisions de variance et punit plus la sous-prévision ; comparer à une référence naïve.
Diebold-Mariano : $\mathrm{DM}=\bar d/\mathrm{se}(\bar d)$ teste si deux prévisions diffèrent vraiment ; $|\mathrm{DM}|>1{,}96$ est significatif.

Lab : ce qui est noté

Erreur absolue moyenne10 pts
Racine de l'erreur quadratique moyenne15 pts
Une perte QLIKE15 pts
R carré hors échantillon15 pts
Une statistique de Diebold-Mariano10 pts
Pourquoi ne pas mélanger10 pts
Associer le vocabulaire15 pts
Battre une référence naïve10 pts

Noter une prévision honnêtement

\mathrm{RMSE}=\sqrt{\frac1n\sum_{t}e_t^{2}},\qquad L_{\mathrm{QLIKE}}=\frac{\tilde\sigma_t^{2}}{h_t}-\ln\frac{\tilde\sigma_t^{2}}{h_t}-1,\qquad R^{2}_{\mathrm{OOS}}=1-\frac{\sum (e^{M}_{t})^{2}}{\sum (e^{B}_{t})^{2}},\qquad \mathrm{DM}=\frac{\bar d}{\mathrm{se}(\bar d)}

(1)

Des erreurs et une perte de varianceQuatre erreurs de prévision

1,\,-2,\,0,\,3

donnent

\mathrm{MAE}=6/4=1{,}5

\mathrm{RMSE}=\sqrt{(1+4+0+9)/4}=\sqrt{3{,}5}\approx1{,}87

: l'erreur isolée de 3 tire le RMSE au-dessus du MAE. Pour une prévision de volatilité, prenons une variance proxy de

4

. Prédire

h=2

(la moitié) coûte

2-\ln2-1\approx0{,}31

en QLIKE. Prédire

h=8

(le double) coûte

0{,}5-\ln0{,}5-1\approx0{,}19

. Le même facteur d'erreur est plus puni quand la variance est sous-prévue, c'est le sens dangereux pour les limites de risque. Un modèle de somme d'erreurs au carré

80

face à

100

pour la référence a un

R^{2}_{\mathrm{OOS}}=1-80/100=0{,}20

Walk-forward : ajuster sur le passé, prévoir le bloc suivant, avancer ; ne jamais mélanger une série temporelle.
QLIKE est robuste pour les prévisions de variance et punit plus la sous-prévision ; comparer à une référence naïve.
Diebold-Mariano : $\mathrm{DM}=\bar d/\mathrm{se}(\bar d)$ teste si deux prévisions diffèrent vraiment ; $|\mathrm{DM}|>1{,}96$ est significatif.

Lab : ce qui est noté

Erreur absolue moyenne10 pts
Racine de l'erreur quadratique moyenne15 pts
Une perte QLIKE15 pts
R carré hors échantillon15 pts
Une statistique de Diebold-Mariano10 pts
Pourquoi ne pas mélanger10 pts
Associer le vocabulaire15 pts
Battre une référence naïve10 pts

Noter une prévision honnêtement

Lab : ce qui est noté

Connectez-vous pour exécuter votre code.

Évaluation des prévisions

Noter une prévision honnêtement

Lab : ce qui est noté

Connectez-vous pour exécuter votre code.