多重检验与错误发现

看得越多发现越多

显著性水平 5% 的检验，会在 5% 的情况下把本无效应的东西误判为显著。只做一次检验时这可以接受。对纯噪声做 $m$ 次独立检验，至少出现一次假阳性的概率是 $1-(1-\alpha)^m$ ：做 20 次时为 $1-0.95^{20}\approx64\%$ 。尝试大量信号、参数、资产或时间窗口，只报告其中有效的那个，是量化研究最常见的自欺方式，它有个名字：多重检验问题，或称数据窥探。

p_i\le\frac{\alpha}{m},\qquad p_{(k)}\le\frac{k}{m}\,q

(1)

有两个量可以控制。族错误率（FWER）是犯任何一次错误发现的概率；Bonferroni 方法通过把每个假设按水平 $\alpha/m$ 检验来控制它，简单但在 $m$ 很大时过于苛刻。错误发现率（FDR）是发现中错误所占比例的期望；Benjamini-Hochberg 方法把 $p$ 值排序，找出满足 $p_{(k)}\le kq/m$ 的最大 $k$ ，并宣布最小的 $k$ 个显著。FDR 控制更温和，适合允许有少量错误线索的探索性研究；FWER 控制适合必须确定的时刻。

二十次检验与六个 p 值对噪声做 20 次独立检验，至少得到一个

p<0.05

的概率为

1-0.95^{20}=0.64

。有 50 个假设时，Bonferroni 要求

p\le0.05/50=0.001

。在没有任何信号有效的情况下，以 5% 检验 1000 个信号，预计会有

1000\cdot0.05=50

个错误发现。对排序后的六个

p

值

0.001,\,0.008,\,0.039,\,0.041,\,0.042,\,0.060

和

q=0.05

，Benjamini-Hochberg 阈值

kq/6

为

0.0083,\,0.0167,\,0.025,\,0.033,\,0.0417,\,0.05

。第二个

p

值通过，第三个不通过，后面的也都不通过：共两个发现。

多重检验：假阳性概率按 $1-(1-\alpha)^m$ 增长。
Bonferroni 用水平 $\alpha/m$ 控制任何错误发现的概率（FWER）。
Benjamini-Hochberg 控制错误发现比例（FDR），并保留更多检验功效。

要数清你的尝试次数，包括没保留的那些校正取决于你真正尝试过多少假设，而不是你报告了多少。每个参数网格、每个被放弃的想法、每个过滤条件的变体都要计入，诚实的数字通常比论文里的大得多。要边做边记录尝试，数不清时就假设比你以为的更多。

实验：评分内容

至少一个假阳性15 分
Bonferroni 水平10 分
预期的错误发现数10 分
Benjamini-Hochberg15 分
哪个控制错误发现率15 分
术语15 分
众多回测中最好的那个20 分

看得越多发现越多

p_i\le\frac{\alpha}{m},\qquad p_{(k)}\le\frac{k}{m}\,q

(1)

二十次检验与六个 p 值对噪声做 20 次独立检验，至少得到一个

p<0.05

的概率为

1-0.95^{20}=0.64

。有 50 个假设时，Bonferroni 要求

p\le0.05/50=0.001

。在没有任何信号有效的情况下，以 5% 检验 1000 个信号，预计会有

1000\cdot0.05=50

个错误发现。对排序后的六个

p

值

0.001,\,0.008,\,0.039,\,0.041,\,0.042,\,0.060

和

q=0.05

，Benjamini-Hochberg 阈值

kq/6

为

0.0083,\,0.0167,\,0.025,\,0.033,\,0.0417,\,0.05

。第二个

p

值通过，第三个不通过，后面的也都不通过：共两个发现。

多重检验：假阳性概率按 $1-(1-\alpha)^m$ 增长。
Bonferroni 用水平 $\alpha/m$ 控制任何错误发现的概率（FWER）。
Benjamini-Hochberg 控制错误发现比例（FDR），并保留更多检验功效。

实验：评分内容

至少一个假阳性15 分
Bonferroni 水平10 分
预期的错误发现数10 分
Benjamini-Hochberg15 分
哪个控制错误发现率15 分
术语15 分
众多回测中最好的那个20 分

看得越多发现越多

实验：评分内容

登录后即可运行你的代码。

多重检验与错误发现

看得越多发现越多

实验：评分内容

登录后即可运行你的代码。