Multiples Testen und falsche Entdeckungen

Wer mehr sucht, findet mehr

Ein Test auf dem 5-%-Niveau meldet in 5 % der Fälle fälschlich einen nicht vorhandenen Effekt als signifikant. Bei einem Test ist das vertretbar. Bei $m$ unabhängigen Tests auf reinem Rauschen beträgt die Wahrscheinlichkeit für mindestens einen falschen Treffer $1-(1-\alpha)^m$ : bei 20 Tests $1-0{,}95^{20}\approx64\,\%$ . Viele Signale, Parameter, Assets oder Zeitfenster auszuprobieren und nur das zu berichten, was funktionierte, ist der häufigste Weg, auf dem sich die Quant-Forschung selbst täuscht, und er hat einen Namen: das Problem des multiplen Testens oder Data Snooping.

p_i\le\frac{\alpha}{m},\qquad p_{(k)}\le\frac{k}{m}\,q

(1)

Zwei Größen lassen sich kontrollieren. Die familienweise Fehlerrate (FWER) ist die Wahrscheinlichkeit, irgendeine falsche Entdeckung zu machen; Bonferroni kontrolliert sie, indem jede Hypothese zum Niveau $\alpha/m$ getestet wird, was einfach, aber bei großem $m$ hart ist. Die False-Discovery-Rate (FDR) ist der erwartete Anteil falscher Entdeckungen; das Benjamini-Hochberg-Verfahren sortiert die $p$ -Werte, findet das größte $k$ mit $p_{(k)}\le kq/m$ und erklärt die $k$ kleinsten für signifikant. FDR-Kontrolle ist milder und passt zur explorativen Forschung, in der einige falsche Spuren tolerierbar sind, FWER-Kontrolle passt, wenn man sicher sein muss.

Zwanzig Tests und sechs p-WerteZwanzig unabhängige Tests auf Rauschen liefern mit Wahrscheinlichkeit

1-0{,}95^{20}=0{,}64

mindestens ein

p<0{,}05

. Bei 50 Hypothesen verlangt Bonferroni

p\le0{,}05/50=0{,}001

. Testet man 1000 Signale zu 5 %, obwohl keines funktioniert, erwartet man

1000\cdot0{,}05=50

falsche Entdeckungen. Für sechs sortierte

p

-Werte

0{,}001,\,0{,}008,\,0{,}039,\,0{,}041,\,0{,}042,\,0{,}060

und

q=0{,}05

sind die Benjamini-Hochberg-Schwellen

kq/6

gleich

0{,}0083,\,0{,}0167,\,0{,}025,\,0{,}033,\,0{,}0417,\,0{,}05

. Der zweite

p

-Wert besteht, der dritte nicht, und keiner der späteren: zwei Entdeckungen.

Multiples Testen: Die Wahrscheinlichkeit eines falschen Treffers wächst wie $1-(1-\alpha)^m$ .
Bonferroni kontrolliert die Wahrscheinlichkeit irgendeiner falschen Entdeckung (FWER) mit dem Niveau $\alpha/m$ .
Benjamini-Hochberg kontrolliert den Anteil falscher Entdeckungen (FDR) und behält mehr Teststärke.

Zählen Sie Ihre Versuche, auch die verworfenenDie Korrektur hängt davon ab, wie viele Hypothesen Sie wirklich ausprobiert haben, nicht davon, wie viele Sie berichten. Jedes Parameterraster, jede verworfene Idee, jede Filtervariante zählt, und die ehrliche Zahl ist meist viel größer als die im Paper. Notieren Sie die Versuche laufend, und wenn Sie sie nicht zählen können, nehmen Sie mehr an, als Sie denken.

Lab: Was bewertet wird

Mindestens ein falscher Treffer15 Pkt.
Ein Bonferroni-Niveau10 Pkt.
Erwartete falsche Entdeckungen10 Pkt.
Benjamini-Hochberg15 Pkt.
Was die False-Discovery-Rate kontrolliert15 Pkt.
Das Vokabular15 Pkt.
Der beste von vielen Backtests20 Pkt.

Wer mehr sucht, findet mehr

p_i\le\frac{\alpha}{m},\qquad p_{(k)}\le\frac{k}{m}\,q

(1)

Zwanzig Tests und sechs p-WerteZwanzig unabhängige Tests auf Rauschen liefern mit Wahrscheinlichkeit

1-0{,}95^{20}=0{,}64

mindestens ein

p<0{,}05

. Bei 50 Hypothesen verlangt Bonferroni

p\le0{,}05/50=0{,}001

. Testet man 1000 Signale zu 5 %, obwohl keines funktioniert, erwartet man

1000\cdot0{,}05=50

falsche Entdeckungen. Für sechs sortierte

p

-Werte

0{,}001,\,0{,}008,\,0{,}039,\,0{,}041,\,0{,}042,\,0{,}060

und

q=0{,}05

sind die Benjamini-Hochberg-Schwellen

kq/6

gleich

0{,}0083,\,0{,}0167,\,0{,}025,\,0{,}033,\,0{,}0417,\,0{,}05

. Der zweite

p

-Wert besteht, der dritte nicht, und keiner der späteren: zwei Entdeckungen.

Multiples Testen: Die Wahrscheinlichkeit eines falschen Treffers wächst wie $1-(1-\alpha)^m$ .
Bonferroni kontrolliert die Wahrscheinlichkeit irgendeiner falschen Entdeckung (FWER) mit dem Niveau $\alpha/m$ .
Benjamini-Hochberg kontrolliert den Anteil falscher Entdeckungen (FDR) und behält mehr Teststärke.

Lab: Was bewertet wird

Mindestens ein falscher Treffer15 Pkt.
Ein Bonferroni-Niveau10 Pkt.
Erwartete falsche Entdeckungen10 Pkt.
Benjamini-Hochberg15 Pkt.
Was die False-Discovery-Rate kontrolliert15 Pkt.
Das Vokabular15 Pkt.
Der beste von vielen Backtests20 Pkt.

Multiples Testen und falsche Entdeckungen

Wer mehr sucht, findet mehr

Lab: Was bewertet wird

Melde dich an, um deinen Code auszuführen.

Multiples Testen und falsche Entdeckungen

Wer mehr sucht, findet mehr

Lab: Was bewertet wird

Melde dich an, um deinen Code auszuführen.