Pruebas múltiples y falsos descubrimientos

Cuanto más se mira, más se encuentra

Una prueba al nivel del 5 % señala erróneamente como significativo un efecto inexistente el 5 % de las veces. Una sola prueba es aceptable. Con $m$ pruebas independientes sobre puro ruido, la probabilidad de al menos un falso positivo es $1-(1-\alpha)^m$ : con 20 pruebas, $1-0{,}95^{20}\approx64\ \%$ . Probar muchas señales, parámetros, activos o ventanas de tiempo e informar solo de la que funcionó es la forma más común en que la investigación cuantitativa se engaña a sí misma, y tiene nombre: el problema de las pruebas múltiples, o data snooping.

p_i\le\frac{\alpha}{m},\qquad p_{(k)}\le\frac{k}{m}\,q

(1)

Hay dos cosas que se pueden controlar. La tasa de error por familia (FWER) es la probabilidad de cometer cualquier falso descubrimiento; Bonferroni la controla contrastando cada hipótesis al nivel $\alpha/m$ , lo cual es sencillo pero severo cuando $m$ es grande. La tasa de falsos descubrimientos (FDR) es la proporción esperada de descubrimientos falsos; el procedimiento de Benjamini-Hochberg ordena los valores $p$ , halla el mayor $k$ con $p_{(k)}\le kq/m$ y declara significativos los $k$ menores. El control del FDR es más suave y sirve para investigación exploratoria donde se toleran algunas pistas falsas; el del FWER sirve cuando hay que estar seguro.

Veinte pruebas y seis valores pVeinte pruebas independientes sobre ruido dan al menos un

p<0{,}05

con probabilidad

1-0{,}95^{20}=0{,}64

. Con 50 hipótesis, Bonferroni exige

p\le0{,}05/50=0{,}001

. Pruebe 1000 señales al 5 % cuando ninguna funciona y espere

1000\cdot0{,}05=50

falsos descubrimientos. Para seis valores

p

ordenados

0{,}001,\,0{,}008,\,0{,}039,\,0{,}041,\,0{,}042,\,0{,}060

q=0{,}05

, los umbrales de Benjamini-Hochberg

kq/6

son

0{,}0083,\,0{,}0167,\,0{,}025,\,0{,}033,\,0{,}0417,\,0{,}05

. El segundo valor

p

pasa, el tercero no, y ninguno de los siguientes: dos descubrimientos.

Pruebas múltiples: la probabilidad de un falso positivo crece como $1-(1-\alpha)^m$ .
Bonferroni controla la probabilidad de cualquier falso descubrimiento (FWER) con el nivel $\alpha/m$ .
Benjamini-Hochberg controla la proporción de falsos descubrimientos (FDR) y conserva más potencia.

Cuente sus pruebas, incluidas las que no conservóLa corrección depende de cuántas hipótesis probó realmente, no de cuántas informa. Cada rejilla de parámetros, cada idea descartada, cada variante de un filtro cuenta, y el número honesto suele ser mucho mayor que el del artículo. Anote las pruebas sobre la marcha y, si no puede contarlas, suponga más de las que cree.

Lab: qué se califica

Al menos un falso positivo15 pts
Un nivel de Bonferroni10 pts
Falsos descubrimientos esperados10 pts
Benjamini-Hochberg15 pts
Cuál controla la tasa de falsos descubrimientos15 pts
El vocabulario15 pts
El mejor de muchos backtests20 pts

Cuanto más se mira, más se encuentra

p_i\le\frac{\alpha}{m},\qquad p_{(k)}\le\frac{k}{m}\,q

(1)

Veinte pruebas y seis valores pVeinte pruebas independientes sobre ruido dan al menos un

p<0{,}05

con probabilidad

1-0{,}95^{20}=0{,}64

. Con 50 hipótesis, Bonferroni exige

p\le0{,}05/50=0{,}001

. Pruebe 1000 señales al 5 % cuando ninguna funciona y espere

1000\cdot0{,}05=50

falsos descubrimientos. Para seis valores

p

ordenados

0{,}001,\,0{,}008,\,0{,}039,\,0{,}041,\,0{,}042,\,0{,}060

q=0{,}05

, los umbrales de Benjamini-Hochberg

kq/6

son

0{,}0083,\,0{,}0167,\,0{,}025,\,0{,}033,\,0{,}0417,\,0{,}05

. El segundo valor

p

pasa, el tercero no, y ninguno de los siguientes: dos descubrimientos.

Pruebas múltiples: la probabilidad de un falso positivo crece como $1-(1-\alpha)^m$ .
Bonferroni controla la probabilidad de cualquier falso descubrimiento (FWER) con el nivel $\alpha/m$ .
Benjamini-Hochberg controla la proporción de falsos descubrimientos (FDR) y conserva más potencia.

Lab: qué se califica

Al menos un falso positivo15 pts
Un nivel de Bonferroni10 pts
Falsos descubrimientos esperados10 pts
Benjamini-Hochberg15 pts
Cuál controla la tasa de falsos descubrimientos15 pts
El vocabulario15 pts
El mejor de muchos backtests20 pts

Pruebas múltiples y falsos descubrimientos

Cuanto más se mira, más se encuentra

Lab: qué se califica

Inicia sesión para ejecutar tu código.

Pruebas múltiples y falsos descubrimientos

Cuanto más se mira, más se encuentra

Lab: qué se califica

Inicia sesión para ejecutar tu código.