Avaliação de previsões

Avaliar uma previsão com honestidade

Uma previsão só vale o que consegue em dados que não viu. O procedimento honesto para séries temporais é o walk-forward: ajustar o modelo no passado, prever o valor (ou bloco) seguinte, anotar o erro, avançar a janela e repetir. Nunca se devem embaralhar as observações nem dividi-las ao acaso, pois um modelo treinado em dias posteriores ao que prevê olhou para o futuro. O erro de previsão é $e_t=y_t-\hat y_t$. As pontuações comuns são o erro absoluto médio, $\mathrm{MAE}=\frac1n\sum|e_t|$, e a raiz do erro quadrático médio, $\mathrm{RMSE}=\sqrt{\frac1n\sum e_t^{2}}$, que pune mais os erros grandes.

A variância nunca é observada, então uma previsão de volatilidade $h_t$ é avaliada contra um indicador $\tilde\sigma_t^{2}$ como o retorno ao quadrado ou a variância realizada. Como o indicador é ruidoso, a perda deve ser escolhida com cuidado: o erro quadrático sobre a variância é dominado por poucos dias grandes, enquanto a QLIKE, $L=\tilde\sigma^{2}/h-\ln(\tilde\sigma^{2}/h)-1$, é mais robusta e cobra mais por subestimar a variância do que por superestimá-la pelo mesmo fator. Compare sempre com uma referência ingênua, por exemplo o valor de ontem ou a média histórica. O $R^{2}_{\mathrm{OOS}}$ fora da amostra compara somas de erros ao quadrado: é positivo apenas se o modelo supera a referência. Para decidir se uma diferença de perda é real ou sorte, usa-se a estatística de Diebold-Mariano: com $d_t$ a diferença de perda entre dois modelos, $\mathrm{DM}=\bar d/\mathrm{se}(\bar d)$ é aproximadamente normal padrão, então $|\mathrm{DM}|>1{,}96$ é significativo a 5 %. Quando as previsões olham vários passos à frente, os $d_t$ se sobrepõem e o erro padrão precisa admitir autocorrelação. Escolher o melhor de muitos modelos nos mesmos dados de teste superestima sua habilidade.

• Walk-forward: ajustar no passado, prever o bloco seguinte, avançar; nunca embaralhar uma série temporal.
• QLIKE é robusta para previsões de variância e pune mais a subestimação; comparar com uma referência ingênua.
• Diebold-Mariano: $\mathrm{DM}=\bar d/\mathrm{se}(\bar d)$ testa se duas previsões realmente diferem; $|\mathrm{DM}|>1{,}96$ é significativo.

Lab: o que é avaliado

• Erro absoluto médio10 pts
• Raiz do erro quadrático médio15 pts
• Uma perda QLIKE15 pts
• R ao quadrado fora da amostra15 pts
• Uma estatística de Diebold-Mariano10 pts
• Por que não embaralhar10 pts
• Associar o vocabulário15 pts
• Superar uma referência ingênua10 pts