Modelos lineales y regularización

Encoger los coeficientes a propósito

Los mínimos cuadrados ordinarios hallan la recta que mejor ajusta los datos de entrenamiento y, con datos financieros ruidosos, también ajustan el ruido. La regularización añade una penalización sobre el tamaño de los coeficientes: el modelo cede un poco de ajuste a cambio de mucha estabilidad. Ridge penaliza la suma de los cuadrados de los coeficientes y los reduce todos hacia cero. Lasso penaliza sus valores absolutos y puede llevar coeficientes débiles exactamente a cero, lo que selecciona variables. La fuerza $\alpha$ es un hiperparámetro: $\alpha=0$ da mínimos cuadrados simples y un $\alpha$ muy grande da un modelo plano que predice la media.

En la práctica, estandarice las variables dentro de un pipeline, porque una penalización trata igual a todos los coeficientes. Elija $\alpha$ con datos de validación posteriores a los de entrenamiento. Empiece con ridge cuando las variables estén correlacionadas y la señal sea débil, como con momento, valor y calidad, y use lasso cuando quiera una lista corta de variables. Elastic net mezcla ambas penalizaciones. Ninguna crea señal: una penalización solo hace que el modelo sea menos sensible al ruido.

• Ridge encoge, lasso selecciona: ridge conserva todas las variables con pesos menores, lasso puede descartar las débiles.
• La fuerza es un compromiso: $\alpha=0$ es mínimos cuadrados y un $\alpha$ enorme predice la media.
• Escale primero las variables: una penalización trata igual a todos los coeficientes, así que deben tener una escala común.

Lab: qué se califica

• Mínimos cuadrados10 pts
• Ridge con alpha 115 pts
• Ridge con alpha 215 pts
• Lasso con alpha 0,515 pts
• Lasso con alpha 110 pts
• Una penalización enorme10 pts
• Emparejar el vocabulario10 pts
• Por qué lasso puede dar exactamente cero15 pts