交差検証と過学習

過去に当てはめるのは簡単

モデルに十分な自由度を与えれば、ノイズも含めてどんな訓練データにも当てはまります。これが過学習で、標本内の当てはまりは見事でも新しいデータでは崩れます。逆の過少適合は、パターンを捉えるには単純すぎるモデルです。どちらの対策も、モデルを見たことのないデータで評価することです。標本内の $R^2$ は説明変数を足しても決して下がらず、過学習を報いてしまいますが、自由度調整済み $R^2=1-(1-R^2)\frac{n-1}{n-p-1}$ は追加の説明変数ごとにペナルティを課します。

$k$ 分割交差検証は、データを $k$ 個のフォールドに分け、$k-1$ 個で訓練し、残した1個で評価して $k$ 個のスコアを平均します。最後に1度だけ触る独立したテストセットが、最終的な誠実な推定を与えます。検証フォールドは、罰則 $\lambda$ のような選択で使い切られます。時系列ではシャッフルは誤りで、ランダム分割は検証する日より後の日で訓練するので未来が漏れます。代わりに、常に過去で訓練して直後のブロックで評価するウォークフォワード検証を使い、ラベルの重なりを避けるために間隔を空けることもあります。

• 過学習：訓練データでは良いが新しいデータでは悪い。過少適合：両方で悪い。
• 交差検証：一部のフォールドで訓練し、残りで評価して平均する。最後用のテストセットを取っておく。
• 時系列：決してシャッフルしない。過去で訓練し、未来のブロックで評価する（ウォークフォワード）。

ラボ：採点される内容

• 訓練セットの大きさ10点
• なぜシャッフルしないか15点
• ウォークフォワード検証15点
• 自由度調整済み決定係数15点
• 用語15点
• リークを見つける15点
• 標本内の当てはまりが多くを語らない理由15点