同じことを言う説明変数
2つの回帰変数がほぼ一緒に動くとき、たとえば株式の6か月と12か月のモメンタムでは、回帰はどちらが貢献しているかを区別できません。これが多重共線性です。当てはまりは良いままでも、個々の係数は不安定になります。データを少し変えるだけで一方が上がり他方が下がり、標準誤差は膨れ上がります。回帰変数 の分散拡大要因は で、 はその変数を他のすべての変数で回帰して得ます。VIFが5や10を超えれば警告です。
(1)
正則化は、係数の大きさへの罰則を加えて不安定さを直します。リッジ（L2）は を加えます。解は通常の解に へ を足したもので、行列の条件が良くなり（線形代数のスキルとつながります）、すべての係数が0に向かって縮みます。ラッソ（L1）は を加え、一部の係数をちょうど0にして説明変数を選べます。どちらも少しのバイアスと引き換えに分散を大きく減らし、 は次のトピックの交差検証で選びます。
相関の強い説明変数の数値例説明変数 を他の変数で回帰して なら、 で、標準誤差は無相関の場合の約 倍になります。逆に は を意味します。 のとき、 のリッジは を使います。1次元で 、 なら、OLSは 、 のリッジは で、罰則が係数を半分にします。
- 多重共線性：係数が不安定で標準誤差が膨らむが、予測は多くの場合まだ良い。
- リッジ：すべての係数を縮めるが、ちょうど0にはしない。ラッソ：係数をちょうど0にできる。
- 罰則 は訓練データへの当てはまりではなく、交差検証で選ぶ。
双子の変数がモデルにあるとき、係数をそのまま読まないほぼ重複した2つのファクターがあると、各係数は単独では解釈できません。大きな正の係数と大きな負の係数が打ち消し合って、妥当な和になることがあるからです。2つをまとめて判断するか、一方を削除・統合するか、正則化しましょう。各部分が定まらなくても組み合わせは定まるので、モデルの予測は良いままのことがあります。
ラボ：採点される内容
- 分散拡大要因15点
- VIFから決定係数へ10点
- リッジ行列15点
- 縮小された係数15点
- 変数選択を行う罰則はどれか15点
- 共線性が引き起こすこと15点
- リッジが役立つ理由15点