Validação cruzada e sobreajuste

Ajustar o passado é fácil

Dê a um modelo liberdade suficiente e ele ajustará quaisquer dados de treino, ruído incluído. É o sobreajuste: um ótimo ajuste dentro da amostra que desmorona com dados novos. O subajuste é o oposto, um modelo simples demais para captar o padrão. O remédio para ambos é julgar um modelo com dados que ele não viu. O $R^2$ dentro da amostra nunca diminui ao acrescentar preditores, então premia o sobreajuste, enquanto o $R^2$ ajustado $1-(1-R^2)\frac{n-1}{n-p-1}$ penaliza cada preditor adicional.

\operatorname{CV}_k=\frac{1}{k}\sum_{j=1}^{k}\operatorname{Err}_j

(1)

A validação cruzada de $k$ dobras divide os dados em $k$ dobras, treina com $k-1$ , pontua na dobra reservada e tira a média das $k$ pontuações. Um conjunto de teste à parte, tocado uma só vez no fim, dá a estimativa honesta final; as dobras de validação se esgotam em escolhas como a penalização $\lambda$ . Com séries temporais, embaralhar é errado: uma divisão aleatória treina com dias posteriores aos que testa, o que vaza o futuro. Use a validação walk-forward, sempre treinando no passado e testando no bloco seguinte, opcionalmente com uma lacuna para evitar sobreposição de rótulos.

Contar dobras e penalizar preditoresCom 1000 observações e 5 dobras, cada dobra tem 200: cada modelo treina com 800 e testa com 200. Uma regressão com

n=50

p=10

preditores tem

R^2=0{,}40

; o valor ajustado é

1-0{,}6\cdot\frac{49}{39}\approx0{,}246

, bem menor. Na validação walk-forward, treina-se nos anos 1 a 3 e testa-se no ano 4; treina-se nos anos 1 a 4 e testa-se no ano 5; e assim por diante. A média das pontuações fora da amostra dá uma imagem mais honesta que qualquer ajuste dentro da amostra.

Sobreajuste: ótimo nos dados de treino, ruim em dados novos. Subajuste: ruim em ambos.
Validação cruzada: treinar em algumas dobras, pontuar na reservada, tirar a média; guardar um conjunto de teste para o fim.
Séries temporais: nunca embaralhe; treine no passado, teste no bloco futuro (walk-forward).

O vazamento é silenciosoQualquer etapa que use informação do período de teste antes do teste é vazamento, e infla os resultados sem nenhuma mensagem de erro. Padronizar variáveis com a média da amostra inteira, escolher variáveis com todos os dados antes de dividir ou usar o preço de amanhã como variável são exemplos. Ajuste toda transformação apenas dentro da dobra de treino e aplique-a inalterada à dobra de teste.

Lab: o que é avaliado

O tamanho de um conjunto de treino10 pts
Por que não embaralhar15 pts
Um teste walk-forward15 pts
Um R quadrado ajustado15 pts
O vocabulário15 pts
Identificar o vazamento15 pts
Por que o ajuste dentro da amostra diz pouco15 pts

Ajustar o passado é fácil

\operatorname{CV}_k=\frac{1}{k}\sum_{j=1}^{k}\operatorname{Err}_j

(1)

Contar dobras e penalizar preditoresCom 1000 observações e 5 dobras, cada dobra tem 200: cada modelo treina com 800 e testa com 200. Uma regressão com

n=50

p=10

preditores tem

R^2=0{,}40

; o valor ajustado é

1-0{,}6\cdot\frac{49}{39}\approx0{,}246

Sobreajuste: ótimo nos dados de treino, ruim em dados novos. Subajuste: ruim em ambos.
Validação cruzada: treinar em algumas dobras, pontuar na reservada, tirar a média; guardar um conjunto de teste para o fim.
Séries temporais: nunca embaralhe; treine no passado, teste no bloco futuro (walk-forward).

Lab: o que é avaliado

O tamanho de um conjunto de treino10 pts
Por que não embaralhar15 pts
Um teste walk-forward15 pts
Um R quadrado ajustado15 pts
O vocabulário15 pts
Identificar o vazamento15 pts
Por que o ajuste dentro da amostra diz pouco15 pts

Validação cruzada e sobreajuste

Ajustar o passado é fácil

Lab: o que é avaliado

Entre para executar o seu código.

Validação cruzada e sobreajuste

Ajustar o passado é fácil

Lab: o que é avaliado

Entre para executar o seu código.