Evaluación de pronósticos

Evaluar un pronóstico con honestidad

Un pronóstico vale solo lo que logra con datos que no ha visto. El procedimiento honesto para series temporales es el walk-forward: ajustar el modelo con el pasado, pronosticar el valor (o bloque) siguiente, anotar el error, avanzar la ventana y repetir. Nunca se deben mezclar las observaciones ni dividirlas al azar, porque un modelo entrenado con días posteriores al que predice ha mirado el futuro. El error de pronóstico es $e_t=y_t-\hat y_t$ . Las puntuaciones habituales son el error absoluto medio, $\mathrm{MAE}=\frac1n\sum|e_t|$ , y la raíz del error cuadrático medio, $\mathrm{RMSE}=\sqrt{\frac1n\sum e_t^{2}}$ , que castiga más los errores grandes.

\mathrm{RMSE}=\sqrt{\frac1n\sum_{t}e_t^{2}},\qquad L_{\mathrm{QLIKE}}=\frac{\tilde\sigma_t^{2}}{h_t}-\ln\frac{\tilde\sigma_t^{2}}{h_t}-1,\qquad R^{2}_{\mathrm{OOS}}=1-\frac{\sum (e^{M}_{t})^{2}}{\sum (e^{B}_{t})^{2}},\qquad \mathrm{DM}=\frac{\bar d}{\mathrm{se}(\bar d)}

(1)

La varianza nunca se observa, así que un pronóstico de volatilidad $h_t$ se puntúa contra un indicador $\tilde\sigma_t^{2}$ como el rendimiento al cuadrado o la varianza realizada. Como el indicador es ruidoso, hay que elegir la pérdida con cuidado: el error cuadrático sobre la varianza lo dominan unos pocos días grandes, mientras que la QLIKE, $L=\tilde\sigma^{2}/h-\ln(\tilde\sigma^{2}/h)-1$ , es más robusta y cobra más por subestimar la varianza que por sobrestimarla en el mismo factor. Compare siempre con una referencia ingenua, por ejemplo el valor de ayer o la media histórica. El $R^{2}_{\mathrm{OOS}}$ fuera de muestra compara sumas de errores al cuadrado: es positivo solo si el modelo supera la referencia. Para decidir si una diferencia de pérdida es real o suerte se usa el estadístico de Diebold-Mariano: con $d_t$ la diferencia de pérdida entre dos modelos, $\mathrm{DM}=\bar d/\mathrm{se}(\bar d)$ es aproximadamente normal estándar, así que $|\mathrm{DM}|>1{,}96$ es significativo al 5 %. Cuando los pronósticos miran varios pasos, los $d_t$ se solapan y el error típico debe admitir autocorrelación. Elegir el mejor de muchos modelos con los mismos datos de prueba sobrestima su habilidad.

Errores y una pérdida de varianzaCuatro errores de pronóstico

1,\,-2,\,0,\,3

dan

\mathrm{MAE}=6/4=1{,}5

\mathrm{RMSE}=\sqrt{(1+4+0+9)/4}=\sqrt{3{,}5}\approx1{,}87

: el error aislado de 3 sube el RMSE sobre el MAE. Para un pronóstico de volatilidad, tomemos una varianza proxy de

4

. Predecir

h=2

(la mitad) cuesta

2-\ln2-1\approx0{,}31

en QLIKE. Predecir

h=8

(el doble) cuesta

0{,}5-\ln0{,}5-1\approx0{,}19

. El mismo factor de error se castiga más cuando se subestima la varianza, que es la dirección peligrosa para los límites de riesgo. Un modelo con suma de errores al cuadrado

80

frente a

100

de la referencia tiene

R^{2}_{\mathrm{OOS}}=1-80/100=0{,}20

Walk-forward: ajustar con el pasado, pronosticar el siguiente bloque, avanzar; nunca mezclar una serie temporal.
QLIKE es robusta para pronósticos de varianza y castiga más la subestimación; comparar con una referencia ingenua.
Diebold-Mariano: $\mathrm{DM}=\bar d/\mathrm{se}(\bar d)$ contrasta si dos pronósticos realmente difieren; $|\mathrm{DM}|>1{,}96$ es significativo.

Lab: qué se califica

Error absoluto medio10 pts
Raíz del error cuadrático medio15 pts
Una pérdida QLIKE15 pts
R cuadrado fuera de muestra15 pts
Un estadístico de Diebold-Mariano10 pts
Por qué no mezclar10 pts
Emparejar el vocabulario15 pts
Superar una referencia ingenua10 pts

Evaluar un pronóstico con honestidad

\mathrm{RMSE}=\sqrt{\frac1n\sum_{t}e_t^{2}},\qquad L_{\mathrm{QLIKE}}=\frac{\tilde\sigma_t^{2}}{h_t}-\ln\frac{\tilde\sigma_t^{2}}{h_t}-1,\qquad R^{2}_{\mathrm{OOS}}=1-\frac{\sum (e^{M}_{t})^{2}}{\sum (e^{B}_{t})^{2}},\qquad \mathrm{DM}=\frac{\bar d}{\mathrm{se}(\bar d)}

(1)

Errores y una pérdida de varianzaCuatro errores de pronóstico

1,\,-2,\,0,\,3

dan

\mathrm{MAE}=6/4=1{,}5

\mathrm{RMSE}=\sqrt{(1+4+0+9)/4}=\sqrt{3{,}5}\approx1{,}87

: el error aislado de 3 sube el RMSE sobre el MAE. Para un pronóstico de volatilidad, tomemos una varianza proxy de

4

. Predecir

h=2

(la mitad) cuesta

2-\ln2-1\approx0{,}31

en QLIKE. Predecir

h=8

(el doble) cuesta

0{,}5-\ln0{,}5-1\approx0{,}19

. El mismo factor de error se castiga más cuando se subestima la varianza, que es la dirección peligrosa para los límites de riesgo. Un modelo con suma de errores al cuadrado

80

frente a

100

de la referencia tiene

R^{2}_{\mathrm{OOS}}=1-80/100=0{,}20

Walk-forward: ajustar con el pasado, pronosticar el siguiente bloque, avanzar; nunca mezclar una serie temporal.
QLIKE es robusta para pronósticos de varianza y castiga más la subestimación; comparar con una referencia ingenua.
Diebold-Mariano: $\mathrm{DM}=\bar d/\mathrm{se}(\bar d)$ contrasta si dos pronósticos realmente difieren; $|\mathrm{DM}|>1{,}96$ es significativo.

Lab: qué se califica

Error absoluto medio10 pts
Raíz del error cuadrático medio15 pts
Una pérdida QLIKE15 pts
R cuadrado fuera de muestra15 pts
Un estadístico de Diebold-Mariano10 pts
Por qué no mezclar10 pts
Emparejar el vocabulario15 pts
Superar una referencia ingenua10 pts

Evaluar un pronóstico con honestidad

Lab: qué se califica

Inicia sesión para ejecutar tu código.

Evaluación de pronósticos

Evaluar un pronóstico con honestidad

Lab: qué se califica

Inicia sesión para ejecutar tu código.