探すほど見つかる
有意水準5%の検定は、実際には何もない場合でも5%の確率で誤って有意と判定します。検定が1回なら許容できます。純粋なノイズに対して独立な検定を 回行うと、少なくとも1回の偽陽性が出る確率は で、20回なら です。多数のシグナル、パラメータ、銘柄、期間を試して、うまくいったものだけを報告することは、クオンツ研究が自分をだます最も一般的な方法で、多重検定の問題、またはデータ・スヌーピングと呼ばれます。
(1)
制御できる量は2つあります。ファミリーワイズ誤り率（FWER）は偽発見を1つでも出す確率で、ボンフェローニ法は各仮説を水準 で検定して制御します。簡単ですが が大きいと厳しすぎます。偽発見率（FDR）は発見のうち偽である割合の期待値で、ベンジャミニ・ホッホベルク法は 値を昇順に並べ、 を満たす最大の を見つけて、小さいほうから 個を有意とします。FDRの制御は穏やかで、多少の誤った手がかりが許される探索的研究に向き、FWERの制御は確実さが必要なときに向きます。
20回の検定と6つのp値ノイズに対する20回の独立な検定で、少なくとも1つ になる確率は です。仮説が50個なら、ボンフェローニ法は を要求します。どれも効かない1,000個のシグナルを5%で検定すると、 件の偽発見が期待されます。昇順の6つの 値 と では、ベンジャミニ・ホッホベルク法のしきい値 は です。2番目は通り、3番目は通らず、以降も通らないので、発見は2件です。
- 多重検定：偽陽性の確率は のように増える。
- ボンフェローニ法は水準 で、偽発見が1つでもある確率（FWER）を制御する。
- ベンジャミニ・ホッホベルク法は偽発見の割合（FDR）を制御し、検出力を保つ。
捨てた試行も含めて試行回数を数える補正は、報告した数ではなく、実際に試した仮説の数に依存します。パラメータの格子、捨てたアイデア、フィルターの変形はすべて数に入り、正直な数は論文に書かれた数よりはるかに多いのが普通です。試行はその都度記録し、数えられないなら、思っているより多いと仮定しましょう。
ラボ：採点される内容
- 少なくとも1つの偽陽性15点
- ボンフェローニの水準10点
- 偽発見の期待件数10点
- ベンジャミニ・ホッホベルク法15点
- 偽発見率を制御するのはどれか15点
- 用語15点
- 多数のバックテストの最良のもの20点