線形モデルと正則化

係数をわざと縮める

最小二乗法は学習データに最もよく合う直線を見つけますが、ノイズの多い金融データではノイズにも合わせてしまいます。正則化は係数の大きさに罰則を加え、少しの当てはまりを手放して大きな安定性を得ます。リッジは係数の2乗和に罰則を課し、すべての係数を0に向けて縮めます。ラッソは絶対値に罰則を課し、弱い係数をちょうど0にすることがあり、特徴量の選択になります。強さ $\alpha$ はハイパーパラメータで、$\alpha=0$ は通常の最小二乗、非常に大きい $\alpha$ は平均を予測する平らなモデルになります。

実際には、罰則がすべての係数を同じに扱うので、パイプラインの中で特徴量を標準化します。$\alpha$ は学習データより時間的に後の検証データで選びます。特徴量が相関し、シグナルが弱いとき（モメンタム、バリュー、クオリティなど）はリッジから始め、特徴量の短いリストが欲しいときはラッソを使います。エラスティックネットは両方の罰則を混ぜます。どれもシグナルを生み出すわけではなく、罰則はモデルをノイズに鈍感にするだけです。

• リッジは縮め、ラッソは選ぶ：リッジは全特徴量を小さな重みで残し、ラッソは弱いものを落とせる。
• 強さはトレードオフ：$\alpha=0$ は最小二乗、巨大な $\alpha$ は平均を予測する。
• 先にスケーリング：罰則はすべての係数を同じに扱うので、特徴量は共通のスケールが必要。

ラボ：採点される内容

• 最小二乗10点
• alpha 1 のリッジ15点
• alpha 2 のリッジ15点
• alpha 0.5 のラッソ15点
• alpha 1 のラッソ10点
• 巨大な罰則10点
• 用語を結び付ける10点
• なぜラッソはちょうど0になれるのか15点