過学習を避けるハイパーパラメータ探索

探索の勝者は水増しされる

ハイパーパラメータ探索は多くの設定を試し、検証データで採点して最良のものを残します。問題は、ノイズのある多数の得点の最大値は、どの設定にも実力がなくても上にずれることです。$N$ 個の設定がそれぞれ標準偏差 $\sigma$ の純粋なノイズ得点をもつなら、期待される最良値は約 $\sigma\times z_N$（$z_{10}=1.54$、$z_{100}=2.51$）です。ICのノイズが $\sigma=0.02$ なら、役に立たない $100$ 個の設定の勝者は $0.050$ に見え、存在しないのにそれなりのシグナルに見えます。勝者の検証得点をそのまま性能として報告するのは楽観的で、試す設定が多いほど悪化します。

誠実な対策は3つあります。1つ目は、探索が決して見ないテストセットを残し、その得点だけを報告すること。2つ目は入れ子交差検証です。外側のループでテスト分割を取り分け、外側の学習セットの中で内側のループが探索を行います。外側の得点は、探索を含む手順全体を測ります。3つ目は探索を小さくすること。設定を減らし、粗い格子にし、効く設定に絞ります。外側 $K_o$ 分割、内側 $K_i$ 分割、候補 $C$ 個なら、入れ子検証には $K_o(K_iC+1)$ 回の学習が必要で、予算を見込む必要があります。そして探索の前に、その設定が効く可能性があるかを考えましょう。

• ノイズの最大値はノイズに見えない：役に立たない多数の設定の最良値は実力に見える。
• 入れ子検証は、探索を含む手順全体を $K_o(K_iC+1)$ 回の学習で採点する。
• ノイズと比べる：標準誤差1つ分より小さい改善は発見ではない。

ラボ：採点される内容

• 役に立たない100設定の最良値15点
• 10個の最良値10点
• 格子探索の学習回数10点
• 入れ子検証の学習回数15点
• 説明すべき残り10点
• どの探索が公正か10点
• 入れ子検証10点
• なぜ勝者の得点は水増しされるのか20点