Regularização L1 e L2 como otimização

Penalidades que encolhem

A regularização soma uma penalidade a uma perda de ajuste para que coeficientes grandes custem algo: $\min_{\mathbf w}\ \lVert\mathbf y-X\mathbf w\rVert^2+\lambda\,\Omega(\mathbf w)$. O ridge usa $\Omega=\lVert\mathbf w\rVert_2^2$ e o lasso usa $\Omega=\lVert\mathbf w\rVert_1$. É um problema de otimização como outro qualquer, com uma forma equivalente com restrição, $\min$ perda sujeito a $\Omega(\mathbf w)\le t$, em que $\lambda$ é exatamente o multiplicador KKT do orçamento $t$. Um $\lambda$ maior significa um orçamento menor.

Os problemas de uma variável mostram a diferença. O ridge divide o valor sem penalidade $z$ por $1+\lambda$: todo coeficiente encolhe na mesma proporção mas nenhum chega a zero. O lasso subtrai $\lambda$ de $|z|$ e corta em zero, então todo coeficiente com $|z|\le\lambda$ vira exatamente zero; por isso o lasso seleciona variáveis. Geometricamente, a bola $\ell_1$ tem quinas nos eixos e as curvas de nível da perda tendem a tocá-la numa quina, enquanto a bola redonda $\ell_2$ não tem quinas. Analiticamente, $|w|$ tem uma ponta em zero onde a inclinação salta de $-\lambda$ para $+\lambda$, e um mínimo pode estar nessa ponta.

Em finanças a penalidade ridge estabiliza regressões sobre preditores correlacionados, prima do encolhimento de covariância, e o lasso monta carteiras esparsas de réplica de índice. Uma armadilha: numa carteira só comprada e totalmente investida, $\sum_i|w_i|=\sum_i w_i=1$, então a penalidade $\lambda\lVert\mathbf w\rVert_1$ é a constante $\lambda$ e não muda nada. Para ter poucas posições não nulas ou poucas negociações, penalize as negociações $\lVert\mathbf w-\mathbf w'\rVert_1$, que é exatamente o que os limites de giro e custo do projeto final fazem. Em termos bayesianos o ridge corresponde a uma a priori gaussiana sobre os coeficientes e o lasso a uma a priori de Laplace.

• Ridge: $w=z/(1+\lambda)$ em uma variável; encolhe suavemente, nunca exatamente a zero.
• Lasso: limiar suave $\mathrm{sign}(z)\max(|z|-\lambda,0)$; zera exatamente os coeficientes pequenos.
• Forma com restrição: o peso $\lambda$ é o multiplicador KKT do orçamento $\Omega(\mathbf w)\le t$.

Lab: o que é avaliado

• Um coeficiente lasso10 pts
• Um coeficiente ridge10 pts
• Um coeficiente zerado15 pts
• Uma regressão ridge de uma variável15 pts
• Por que o lasso dá zeros exatos15 pts
• Uma penalidade inútil15 pts
• A priori e efeitos10 pts
• O que faz um lambda maior10 pts