Regularización L1 y L2 como optimización

Penalizaciones que encogen

La regularización añade una penalización a una pérdida de ajuste para que los coeficientes grandes cuesten algo: $\min_{\mathbf w}\ \lVert\mathbf y-X\mathbf w\rVert^2+\lambda\,\Omega(\mathbf w)$. Ridge usa $\Omega=\lVert\mathbf w\rVert_2^2$ y el lasso usa $\Omega=\lVert\mathbf w\rVert_1$. Es un problema de optimización como cualquier otro, con una forma equivalente con restricción, $\min$ pérdida sujeto a $\Omega(\mathbf w)\le t$, donde $\lambda$ es exactamente el multiplicador KKT del presupuesto $t$. Un $\lambda$ mayor significa un presupuesto menor.

Los problemas de una variable muestran la diferencia. Ridge divide el valor sin penalizar $z$ entre $1+\lambda$: cada coeficiente se encoge en la misma proporción pero ninguno llega a cero. El lasso resta $\lambda$ a $|z|$ y corta en cero, así que todo coeficiente con $|z|\le\lambda$ pasa a ser exactamente cero; por eso el lasso selecciona variables. Geométricamente, la bola $\ell_1$ tiene esquinas en los ejes y las curvas de nivel de la pérdida suelen tocarla en una esquina, mientras que la bola redonda $\ell_2$ no tiene esquinas. Analíticamente, $|w|$ tiene un pico en cero donde la pendiente salta de $-\lambda$ a $+\lambda$, y un mínimo puede estar en ese pico.

En finanzas la penalización ridge estabiliza las regresiones sobre predictores correlacionados, prima de la contracción de covarianza, y el lasso construye carteras dispersas de réplica de índice. Una trampa: en una cartera solo larga y totalmente invertida, $\sum_i|w_i|=\sum_i w_i=1$, así que la penalización $\lambda\lVert\mathbf w\rVert_1$ es la constante $\lambda$ y no cambia nada. Para tener pocas posiciones no nulas o pocas operaciones, penalice las operaciones $\lVert\mathbf w-\mathbf w'\rVert_1$, que es justo lo que hacen los límites de rotación y costes del proyecto final. En términos bayesianos ridge corresponde a una a priori gaussiana sobre los coeficientes y el lasso a una a priori de Laplace.

• Ridge: $w=z/(1+\lambda)$ en una variable; encoge suavemente, nunca exactamente a cero.
• Lasso: umbral suave $\mathrm{sign}(z)\max(|z|-\lambda,0)$; deja los coeficientes pequeños exactamente en cero.
• Forma con restricción: el peso $\lambda$ es el multiplicador KKT del presupuesto $\Omega(\mathbf w)\le t$.

Lab: qué se califica

• Un coeficiente lasso10 pts
• Un coeficiente ridge10 pts
• Un coeficiente puesto a cero15 pts
• Una regresión ridge de una variable15 pts
• Por qué el lasso da ceros exactos15 pts
• Una penalización inútil15 pts
• A priori y efectos10 pts
• Qué hace un lambda mayor10 pts