Penalizaciones, trayectorias y ajuste honesto
Con sesenta regresores ruidosos, los mínimos cuadrados ordinarios ajustan el ruido. Una penalización añade un precio a los coeficientes grandes. Ridge(alpha) cobra la suma de cuadrados: todos los coeficientes se encogen, ninguno llega a cero. Lasso(alpha) cobra la suma de valores absolutos: al crecer alpha, los coeficientes caen a cero exacto uno tras otro, así que el lasso también selecciona variables. ElasticNet(alpha, l1_ratio) mezcla ambos, lo que ayuda cuando regresores correlacionados harían que el lasso eligiera uno al azar. La penalización solo trata justamente a los coeficientes si las columnas tienen la misma escala, así que se estandariza primero, y solo con la media y la desviación de entrenamiento; si no, las filas de prueba se filtran en la escala. Recorrer una malla de alpha anotando cuántos coeficientes sobreviven, o el tamaño de la solución ridge, da la trayectoria de regularización.
¿Cuánta penalización? No la que mejor ajusta el pasado: esa es alpha cercano a cero. Se elige alpha con una prueba walk-forward: en cada pliegue se estandariza con las filas de entrenamiento, se ajusta con ellas, se predicen las filas de prueba y se puntúan las predicciones por correlación de rangos con los resultados (el coeficiente de información). Si un alpha grande anula todos los coeficientes, las predicciones son constantes y la correlación no está definida; se puntúa entonces 0. Para el rendimiento diario de SPY frente a los rendimientos del día anterior de otros 60 activos, el lasso conserva 57 coeficientes con α=10⁻⁵, 38 con 10⁻⁴, 15 con 3,2×10⁻⁴ y 7 con 10⁻³, mientras la norma ridge baja de 0,0043 a 0,0005 sin que ningún coeficiente llegue a cero. El IC walk-forward alcanza su máximo con α=3,2×10⁻⁴, cerca de 0,022: una cifra modesta y honesta que un ajuste sin penalización nunca habría mostrado.
- Ridge encoge, lasso selecciona, elastic net hace ambas cosas: recorra cada uno en una malla de alpha.
- Estandarice solo con las filas de entrenamiento: una penalización depende de la escala, y las filas de prueba no deben fijarla.
- Ajuste alpha fuera de muestra: puntúe por correlación de rangos walk-forward y trate una predicción constante como 0.
Lab: qué se califica
- Estandarizar sin mirar10 pts
- La trayectoria del lasso15 pts
- La trayectoria de ridge10 pts
- Una puntuación walk-forward25 pts
- Elegir alpha15 pts
- Lo que conserva el elastic net10 pts
- El estudio completo de la trayectoria15 pts