Tests multiples et fausses découvertes

Plus on cherche, plus on trouve

Un test au niveau de 5 % signale à tort un non-effet comme significatif dans 5 % des cas. Un seul test, c'est acceptable. Avec $m$ tests indépendants sur du bruit pur, la probabilité d'au moins un faux positif est $1-(1-\alpha)^m$ : avec 20 tests, $1-0{,}95^{20}\approx64\ \%$ . Essayer de nombreux signaux, paramètres, actifs ou fenêtres de temps et ne rapporter que celui qui a marché est la façon la plus courante dont la recherche quantitative se trompe elle-même, et cela porte un nom : le problème des tests multiples, ou data snooping.

p_i\le\frac{\alpha}{m},\qquad p_{(k)}\le\frac{k}{m}\,q

(1)

Deux grandeurs sont contrôlables. Le taux d'erreur par famille (FWER) est la probabilité de faire une quelconque fausse découverte ; Bonferroni le contrôle en testant chaque hypothèse au niveau $\alpha/m$ , ce qui est simple mais sévère quand $m$ est grand. Le taux de fausses découvertes (FDR) est la part espérée de découvertes fausses ; la procédure de Benjamini-Hochberg trie les valeurs $p$ , trouve le plus grand $k$ tel que $p_{(k)}\le kq/m$ et déclare significatives les $k$ plus petites. Le contrôle du FDR est plus doux et convient à la recherche exploratoire où quelques fausses pistes sont tolérables ; celui du FWER convient quand il faut être sûr.

Vingt tests et six valeurs pVingt tests indépendants sur du bruit donnent au moins un

p<0{,}05

avec une probabilité de

1-0{,}95^{20}=0{,}64

. Avec 50 hypothèses, Bonferroni exige

p\le0{,}05/50=0{,}001

. Testez 1 000 signaux à 5 % alors qu'aucun ne marche : vous attendez

1000\cdot0{,}05=50

fausses découvertes. Pour six valeurs

p

triées

0{,}001,\,0{,}008,\,0{,}039,\,0{,}041,\,0{,}042,\,0{,}060

q=0{,}05

, les seuils de Benjamini-Hochberg

kq/6

valent

0{,}0083,\,0{,}0167,\,0{,}025,\,0{,}033,\,0{,}0417,\,0{,}05

. La deuxième valeur

p

passe, la troisième non, et aucune des suivantes : deux découvertes.

Tests multiples : la probabilité d'un faux positif croît comme $1-(1-\alpha)^m$ .
Bonferroni contrôle la probabilité de toute fausse découverte (FWER) avec le niveau $\alpha/m$ .
Benjamini-Hochberg contrôle la part de fausses découvertes (FDR) et conserve plus de puissance.

Comptez vos essais, y compris ceux que vous n'avez pas gardésLa correction dépend du nombre d'hypothèses réellement essayées, pas de celles que vous rapportez. Chaque grille de paramètres, chaque idée abandonnée, chaque variante d'un filtre compte, et le nombre honnête est souvent bien plus grand que celui de l'article. Notez les essais au fur et à mesure, et si vous ne pouvez pas les compter, supposez-en plus que vous ne pensez.

Lab : ce qui est noté

Au moins un faux positif15 pts
Un niveau de Bonferroni10 pts
Fausses découvertes espérées10 pts
Benjamini-Hochberg15 pts
Qui contrôle le taux de fausses découvertes15 pts
Le vocabulaire15 pts
Le meilleur de nombreux backtests20 pts

Plus on cherche, plus on trouve

p_i\le\frac{\alpha}{m},\qquad p_{(k)}\le\frac{k}{m}\,q

(1)

Vingt tests et six valeurs pVingt tests indépendants sur du bruit donnent au moins un

p<0{,}05

avec une probabilité de

1-0{,}95^{20}=0{,}64

. Avec 50 hypothèses, Bonferroni exige

p\le0{,}05/50=0{,}001

. Testez 1 000 signaux à 5 % alors qu'aucun ne marche : vous attendez

1000\cdot0{,}05=50

fausses découvertes. Pour six valeurs

p

triées

0{,}001,\,0{,}008,\,0{,}039,\,0{,}041,\,0{,}042,\,0{,}060

q=0{,}05

, les seuils de Benjamini-Hochberg

kq/6

valent

0{,}0083,\,0{,}0167,\,0{,}025,\,0{,}033,\,0{,}0417,\,0{,}05

. La deuxième valeur

p

passe, la troisième non, et aucune des suivantes : deux découvertes.

Tests multiples : la probabilité d'un faux positif croît comme $1-(1-\alpha)^m$ .
Bonferroni contrôle la probabilité de toute fausse découverte (FWER) avec le niveau $\alpha/m$ .
Benjamini-Hochberg contrôle la part de fausses découvertes (FDR) et conserve plus de puissance.

Lab : ce qui est noté

Au moins un faux positif15 pts
Un niveau de Bonferroni10 pts
Fausses découvertes espérées10 pts
Benjamini-Hochberg15 pts
Qui contrôle le taux de fausses découvertes15 pts
Le vocabulaire15 pts
Le meilleur de nombreux backtests20 pts

Tests multiples et fausses découvertes

Plus on cherche, plus on trouve

Lab : ce qui est noté

Connectez-vous pour exécuter votre code.

Tests multiples et fausses découvertes

Plus on cherche, plus on trouve

Lab : ce qui est noté

Connectez-vous pour exécuter votre code.