Validación cruzada y sobreajuste

Ajustar el pasado es fácil

Dé a un modelo suficiente libertad y ajustará cualquier dato de entrenamiento, ruido incluido. Eso es el sobreajuste: un gran ajuste dentro de la muestra que se desploma con datos nuevos. El subajuste es lo contrario, un modelo demasiado simple para captar el patrón. El remedio de ambos es juzgar un modelo con datos que no ha visto. El $R^2$ dentro de la muestra nunca baja al añadir predictores, así que premia el sobreajuste, mientras que el $R^2$ ajustado $1-(1-R^2)\frac{n-1}{n-p-1}$ penaliza cada predictor adicional.

\operatorname{CV}_k=\frac{1}{k}\sum_{j=1}^{k}\operatorname{Err}_j

(1)

La validación cruzada de $k$ pliegues divide los datos en $k$ pliegues, entrena con $k-1$ , puntúa en el pliegue reservado y promedia las $k$ puntuaciones. Un conjunto de prueba aparte, tocado una sola vez al final, da la estimación honesta final; los pliegues de validación se agotan en decisiones como la penalización $\lambda$ . Con series temporales, mezclar es un error: una división aleatoria entrena con días posteriores a los que prueba, lo que filtra el futuro. Use en su lugar la validación walk-forward, entrenando siempre con el pasado y probando con el bloque siguiente, opcionalmente con un hueco para evitar solapamiento de etiquetas.

Contar pliegues y penalizar predictoresCon 1000 observaciones y 5 pliegues, cada pliegue tiene 200: cada modelo entrena con 800 y prueba con 200. Una regresión con

n=50

p=10

predictores tiene

R^2=0{,}40

; el valor ajustado es

1-0{,}6\cdot\frac{49}{39}\approx0{,}246

, mucho menor. En la validación walk-forward se entrena con los años 1 a 3 y se prueba en el año 4; se entrena con los años 1 a 4 y se prueba en el año 5; y así sucesivamente. El promedio de las puntuaciones fuera de muestra da una imagen más honesta que cualquier ajuste dentro de la muestra.

Sobreajuste: excelente con los datos de entrenamiento, malo con datos nuevos. Subajuste: malo con ambos.
Validación cruzada: entrenar con algunos pliegues, puntuar en el reservado, promediar; reservar un conjunto de prueba para el final.
Series temporales: nunca mezcle; entrene con el pasado, pruebe con el bloque futuro (walk-forward).

La filtración es silenciosaCualquier paso que use información del periodo de prueba antes de la prueba es filtración, e infla los resultados sin ningún mensaje de error. Escalar las variables con la media de toda la muestra, elegir variables con todos los datos antes de dividir o usar el precio de mañana como variable son ejemplos. Ajuste toda transformación solo dentro del pliegue de entrenamiento y aplíquela sin cambios al pliegue de prueba.

Lab: qué se califica

El tamaño de un conjunto de entrenamiento10 pts
Por qué no mezclar15 pts
Una prueba walk-forward15 pts
Un R cuadrado ajustado15 pts
El vocabulario15 pts
Detectar la filtración15 pts
Por qué el ajuste dentro de la muestra dice poco15 pts

Ajustar el pasado es fácil

\operatorname{CV}_k=\frac{1}{k}\sum_{j=1}^{k}\operatorname{Err}_j

(1)

Contar pliegues y penalizar predictoresCon 1000 observaciones y 5 pliegues, cada pliegue tiene 200: cada modelo entrena con 800 y prueba con 200. Una regresión con

n=50

p=10

predictores tiene

R^2=0{,}40

; el valor ajustado es

1-0{,}6\cdot\frac{49}{39}\approx0{,}246

Sobreajuste: excelente con los datos de entrenamiento, malo con datos nuevos. Subajuste: malo con ambos.
Validación cruzada: entrenar con algunos pliegues, puntuar en el reservado, promediar; reservar un conjunto de prueba para el final.
Series temporales: nunca mezcle; entrene con el pasado, pruebe con el bloque futuro (walk-forward).

Lab: qué se califica

El tamaño de un conjunto de entrenamiento10 pts
Por qué no mezclar15 pts
Una prueba walk-forward15 pts
Un R cuadrado ajustado15 pts
El vocabulario15 pts
Detectar la filtración15 pts
Por qué el ajuste dentro de la muestra dice poco15 pts

Validación cruzada y sobreajuste

Ajustar el pasado es fácil

Lab: qué se califica

Inicia sesión para ejecutar tu código.

Validación cruzada y sobreajuste

Ajustar el pasado es fácil

Lab: qué se califica

Inicia sesión para ejecutar tu código.