说着同一件事的预测变量
当两个回归变量几乎同步变动时（例如一只股票的 6 个月和 12 个月动量），回归无法判断功劳该归谁。这就是多重共线性。拟合可能依然很好，但各个系数会变得不稳定：数据的微小变化就可能让一个上升、另一个下降，它们的标准误也会暴涨。回归变量 j 的方差膨胀因子为 VIFj=1−Rj21，其中 Rj2 来自把该变量对其余所有变量做回归。VIF 超过 5 或 10 就是警告。
β^ridge=(XTX+λI)−1XTy,β^lasso=argmin ∥y−Xβ∥2+λ∥β∥1(1) 正则化通过对系数大小施加惩罚来修复不稳定性。岭回归（L2）加上 λ∥β∥2：其解就是普通解，只是在 XTX 上加了 λI，这使矩阵条件良好（可与线性代数技能联系起来），并把每个系数向零收缩。Lasso（L1）加上 λ∥β∥1，可以把某些系数恰好压到零，从而选出预测变量。两者都是用少量偏差换取方差的大幅下降，λ 通过交叉验证选取，这是下一个主题。
相关预测变量的数值示例若把预测变量
j 对其余变量回归得到
Rj2=0.9，则
VIFj=1/(1−0.9)=10：其标准误是预测变量不相关时的约
10≈3.2 倍。反过来，
VIF=5 意味着
Rj2=0.8。当
XTX=(4334) 时，
λ=1 的岭回归使用
(5335)。在一维情形下，
XTX=4，
XTy=8，OLS 给出
β^=2，而
λ=4 的岭回归给出
8/(4+4)=1：惩罚把系数减半。
- 多重共线性：系数不稳定、标准误膨胀，预测往往仍然不错。
- 岭回归：收缩所有系数，但不会恰好为零。Lasso：可以把系数恰好压到零。
- 用交叉验证选择惩罚 λ，绝不要看训练拟合。
孪生变量同在模型中时，不要解读系数有两个几乎重复的因子时，单个系数无法解释：一个很大的正系数和一个很大的负系数可能相互抵消，得到合理的总和。应把这一对放在一起判断，删除或合并其中一个，或者做正则化。模型的预测仍可能很好，因为即使各部分不确定，它们的组合也是确定的。
实验：评分内容
- 方差膨胀因子15 分
- 由 VIF 回到 R 方10 分
- 岭回归矩阵15 分
- 被收缩的系数15 分
- 哪种惩罚能选择变量15 分
- 共线性的影响15 分
- 岭回归为何有帮助15 分
