Régularisation L1 et L2 comme optimisation

Des pénalités qui rétrécissent

La régularisation ajoute une pénalité à une perte d'ajustement pour que de grands coefficients aient un coût : $\min_{\mathbf w}\ \lVert\mathbf y-X\mathbf w\rVert^2+\lambda\,\Omega(\mathbf w)$. Ridge utilise $\Omega=\lVert\mathbf w\rVert_2^2$ et le lasso $\Omega=\lVert\mathbf w\rVert_1$. C'est un problème d'optimisation comme un autre, avec une forme équivalente sous contrainte, $\min$ perte sous $\Omega(\mathbf w)\le t$, où $\lambda$ est exactement le multiplicateur KKT du budget $t$. Un $\lambda$ plus grand signifie un budget plus petit.

Les problèmes à une variable montrent la différence. Ridge divise la valeur non pénalisée $z$ par $1+\lambda$ : chaque coefficient rétrécit dans la même proportion mais aucun n'atteint zéro. Le lasso retranche $\lambda$ à $|z|$ et coupe à zéro, de sorte que tout coefficient avec $|z|\le\lambda$ devient exactement nul ; c'est pourquoi le lasso sélectionne des variables. Géométriquement, la boule $\ell_1$ a des coins sur les axes et les courbes de niveau de la perte la touchent souvent en un coin, alors que la boule ronde $\ell_2$ n'en a pas. Analytiquement, $|w|$ a un point anguleux en zéro où la pente saute de $-\lambda$ à $+\lambda$, et un minimum peut s'y trouver.

En finance, la pénalité ridge stabilise les régressions sur prédicteurs corrélés, cousine du rétrécissement de covariance, et le lasso construit des portefeuilles épars de réplication d'indice. Un piège : dans un portefeuille long seulement entièrement investi, $\sum_i|w_i|=\sum_i w_i=1$, donc la pénalité $\lambda\lVert\mathbf w\rVert_1$ vaut la constante $\lambda$ et ne change rien. Pour avoir peu de positions non nulles ou peu de transactions, pénalisez les transactions $\lVert\mathbf w-\mathbf w'\rVert_1$, ce que font précisément les limites de rotation et de coûts du projet final. En termes bayésiens, ridge correspond à un a priori gaussien sur les coefficients et le lasso à un a priori de Laplace.

• Ridge : $w=z/(1+\lambda)$ en une variable ; rétrécit en douceur, jamais exactement à zéro.
• Lasso : seuillage doux $\mathrm{sign}(z)\max(|z|-\lambda,0)$ ; met les petits coefficients exactement à zéro.
• Forme sous contrainte : le poids $\lambda$ est le multiplicateur KKT du budget $\Omega(\mathbf w)\le t$.

Lab : ce qui est noté

• Un coefficient lasso10 pts
• Un coefficient ridge10 pts
• Un coefficient mis à zéro15 pts
• Une régression ridge à une variable15 pts
• Pourquoi le lasso donne des zéros exacts15 pts
• Une pénalité inutile15 pts
• A priori et effets10 pts
• Ce que fait un lambda plus grand10 pts