作为优化问题的 L1 与 L2 正则化

起收缩作用的惩罚

正则化在拟合损失上加一个惩罚，使大的系数要付出代价：$\min_{\mathbf w}\ \lVert\mathbf y-X\mathbf w\rVert^2+\lambda\,\Omega(\mathbf w)$。岭回归取 $\Omega=\lVert\mathbf w\rVert_2^2$，Lasso 取 $\Omega=\lVert\mathbf w\rVert_1$。这和其他优化问题一样，并且有等价的约束形式：在 $\Omega(\mathbf w)\le t$ 下最小化损失，其中 $\lambda$ 恰好是预算 $t$ 的 KKT 乘子。$\lambda$ 越大，预算越小。

单变量问题显示出两者的差别。岭回归把无惩罚值 $z$ 除以 $1+\lambda$：每个系数按相同比例收缩，但没有一个会变成零。Lasso 从 $|z|$ 中减去 $\lambda$ 并在零处截断，所以 $|z|\le\lambda$ 的系数恰好变成零，这正是 Lasso 能选择变量的原因。几何上，$\ell_1$ 球在坐标轴上有尖角，损失等值线常在尖角处与之相切，而圆形的 $\ell_2$ 球没有尖角。解析上，$|w|$ 在零处有一个折点，斜率从 $-\lambda$ 跳到 $+\lambda$，极小点可以落在这个折点上。

在金融中，岭惩罚能稳定对相关预测变量的回归（与协方差收缩是近亲），Lasso 可构造稀疏的指数跟踪组合。有一个陷阱：在只做多且满仓的组合中 $\sum_i|w_i|=\sum_i w_i=1$，所以惩罚 $\lambda\lVert\mathbf w\rVert_1$ 就是常数 $\lambda$，毫无作用。要想持仓或交易笔数少，应惩罚交易量 $\lVert\mathbf w-\mathbf w'\rVert_1$，这正是综合项目里换手率与成本上限所做的事。用贝叶斯的话说，岭回归对应系数的高斯先验，Lasso 对应拉普拉斯先验。

• 岭回归：单变量时 $w=z/(1+\lambda)$；平滑收缩，永不恰好为零。
• Lasso：软阈值 $\mathrm{sign}(z)\max(|z|-\lambda,0)$；把小系数恰好置零。
• 约束形式：权重 $\lambda$ 是预算 $\Omega(\mathbf w)\le t$ 的 KKT 乘子。

实验：评分内容

• Lasso 系数10 分
• 岭回归系数10 分
• 被置零的系数15 分
• 单变量岭回归15 分
• 为什么 Lasso 能得到精确的零15 分
• 无用的惩罚15 分
• 先验与效应10 分
• 更大的 λ 起什么作用10 分