L1- und L2-Regularisierung als Optimierung

Strafen, die schrumpfen

Regularisierung fügt einem Anpassungsverlust eine Strafe hinzu, damit große Koeffizienten etwas kosten: $\min_{\mathbf w}\ \lVert\mathbf y-X\mathbf w\rVert^2+\lambda\,\Omega(\mathbf w)$. Ridge nutzt $\Omega=\lVert\mathbf w\rVert_2^2$, das Lasso $\Omega=\lVert\mathbf w\rVert_1$. Das ist ein Optimierungsproblem wie jedes andere und hat eine äquivalente restringierte Form, $\min$ Verlust unter $\Omega(\mathbf w)\le t$, in der $\lambda$ genau der KKT-Multiplikator des Budgets $t$ ist. Ein größeres $\lambda$ bedeutet ein kleineres Budget.

Die Ein-Variablen-Probleme zeigen den Unterschied. Ridge teilt den unbestraften Wert $z$ durch $1+\lambda$: Jeder Koeffizient schrumpft um denselben Anteil, keiner erreicht null. Das Lasso zieht $\lambda$ von $|z|$ ab und kappt bei null, sodass jeder Koeffizient mit $|z|\le\lambda$ exakt null wird; deshalb wählt das Lasso Variablen aus. Geometrisch hat die $\ell_1$-Kugel Ecken auf den Achsen, und die Verlustkonturen berühren sie meist an einer Ecke, während die runde $\ell_2$-Kugel keine Ecken hat. Analytisch hat $|w|$ bei null einen Knick, an dem die Steigung von $-\lambda$ auf $+\lambda$ springt, und ein Minimum kann auf diesem Knick liegen.

In der Finanzwelt stabilisiert die Ridge-Strafe Regressionen auf korrelierten Prädiktoren, eine Verwandte der Kovarianz-Schrumpfung, und das Lasso baut dünn besetzte Index-Tracking-Portfolios. Eine Falle: In einem Nur-Long-Portfolio, das voll investiert ist, gilt $\sum_i|w_i|=\sum_i w_i=1$, also ist die Strafe $\lambda\lVert\mathbf w\rVert_1$ die Konstante $\lambda$ und ändert nichts. Für wenige Positionen ungleich null oder wenige Trades bestraft man die Trades $\lVert\mathbf w-\mathbf w'\rVert_1$, genau das tun die Umschlags- und Kostengrenzen im Abschlussprojekt. Bayesianisch entspricht Ridge einer Normal-Priorverteilung der Koeffizienten und das Lasso einer Laplace-Priorverteilung.

• Ridge: $w=z/(1+\lambda)$ in einer Variablen; schrumpft glatt, nie exakt auf null.
• Lasso: weiche Schwelle $\mathrm{sign}(z)\max(|z|-\lambda,0)$; setzt kleine Koeffizienten exakt auf null.
• Restringierte Form: Das Gewicht $\lambda$ ist der KKT-Multiplikator des Budgets $\Omega(\mathbf w)\le t$.

Lab: Was bewertet wird

• Ein Lasso-Koeffizient10 Pkt.
• Ein Ridge-Koeffizient10 Pkt.
• Ein auf null gesetzter Koeffizient15 Pkt.
• Eine Ein-Variablen-Ridge-Regression15 Pkt.
• Warum das Lasso exakte Nullen liefert15 Pkt.
• Eine nutzlose Strafe15 Pkt.
• Priors und Wirkungen10 Pkt.
• Was ein größeres Lambda bewirkt10 Pkt.