最適化としてのL1・L2正則化

縮める罰則

正則化は、大きな係数にコストがかかるように、当てはめの損失にペナルティを加えます：$\min_{\mathbf w}\ \lVert\mathbf y-X\mathbf w\rVert^2+\lambda\,\Omega(\mathbf w)$。リッジは $\Omega=\lVert\mathbf w\rVert_2^2$、ラッソは $\Omega=\lVert\mathbf w\rVert_1$ を使います。これも普通の最適化問題で、$\Omega(\mathbf w)\le t$ の下で損失を最小化する等価な制約付きの形があり、そこでは $\lambda$ がまさに予算 $t$ のKKT乗数です。$\lambda$ が大きいほど予算は小さくなります。

1変数の問題で違いがわかります。リッジは罰則なしの値 $z$ を $1+\lambda$ で割るので、すべての係数が同じ割合で縮みますがゼロにはなりません。ラッソは $|z|$ から $\lambda$ を引いてゼロで切り捨てるので、$|z|\le\lambda$ の係数はちょうどゼロになります。これがラッソが変数を選択する理由です。幾何的には、$\ell_1$ の球は軸上に角を持ち、損失の等高線はたいていその角で接しますが、丸い $\ell_2$ の球には角がありません。解析的には、$|w|$ はゼロで傾きが $-\lambda$ から $+\lambda$ へ跳ぶ折れ点を持ち、最小点がその折れ点に位置することがあります。

金融では、リッジのペナルティは相関する説明変数への回帰を安定させ（共分散の縮小推定の親戚です）、ラッソは疎なインデックス・トラッキング・ポートフォリオを作ります。落とし穴が1つあります。ロングオンリーで全額投資のポートフォリオでは $\sum_i|w_i|=\sum_i w_i=1$ なので、ペナルティ $\lambda\lVert\mathbf w\rVert_1$ は定数 $\lambda$ にすぎず、何も変えません。非ゼロの持ち高や取引を少なくしたいなら、取引量 $\lVert\mathbf w-\mathbf w'\rVert_1$ に罰則を課します。これが総仕上げの回転率とコストの上限がまさにしていることです。ベイズ的には、リッジは係数のガウス事前分布に、ラッソはラプラス事前分布に対応します。

• リッジ：1変数では $w=z/(1+\lambda)$。滑らかに縮み、ちょうどゼロにはなりません。
• ラッソ：ソフト閾値 $\mathrm{sign}(z)\max(|z|-\lambda,0)$。小さな係数をちょうどゼロにします。
• 制約付きの形：重み $\lambda$ は予算 $\Omega(\mathbf w)\le t$ のKKT乗数です。

ラボ：採点される内容

• ラッソの係数10点
• リッジの係数10点
• ゼロになる係数15点
• 1変数のリッジ回帰15点
• ラッソが正確なゼロを作る理由15点
• 意味のない罰則15点
• 事前分布と効果10点
• λを大きくすると何が起きるか10点