Testes múltiplos e falsas descobertas

Quanto mais se procura, mais se encontra

Um teste no nível de 5% sinaliza erroneamente como significativo um efeito inexistente em 5% das vezes. Um único teste é aceitável. Com $m$ testes independentes sobre puro ruído, a probabilidade de pelo menos um falso positivo é $1-(1-\alpha)^m$ : com 20 testes, $1-0{,}95^{20}\approx64\%$ . Tentar muitos sinais, parâmetros, ativos ou janelas de tempo e relatar só o que funcionou é a forma mais comum de a pesquisa quantitativa se enganar, e tem nome: o problema dos testes múltiplos, ou data snooping.

p_i\le\frac{\alpha}{m},\qquad p_{(k)}\le\frac{k}{m}\,q

(1)

Há duas coisas que se pode controlar. A taxa de erro por família (FWER) é a probabilidade de cometer qualquer falsa descoberta; Bonferroni a controla testando cada hipótese no nível $\alpha/m$ , o que é simples mas severo quando $m$ é grande. A taxa de falsas descobertas (FDR) é a parcela esperada de descobertas falsas; o procedimento de Benjamini-Hochberg ordena os valores $p$ , acha o maior $k$ com $p_{(k)}\le kq/m$ e declara significativos os $k$ menores. O controle da FDR é mais brando e serve à pesquisa exploratória em que algumas pistas falsas são toleráveis; o da FWER serve quando é preciso ter certeza.

Vinte testes e seis valores pVinte testes independentes sobre ruído dão pelo menos um

p<0{,}05

com probabilidade

1-0{,}95^{20}=0{,}64

. Com 50 hipóteses, Bonferroni exige

p\le0{,}05/50=0{,}001

. Teste 1000 sinais a 5% quando nenhum funciona e espere

1000\cdot0{,}05=50

falsas descobertas. Para seis valores

p

ordenados

0{,}001,\,0{,}008,\,0{,}039,\,0{,}041,\,0{,}042,\,0{,}060

q=0{,}05

, os limiares de Benjamini-Hochberg

kq/6

são

0{,}0083,\,0{,}0167,\,0{,}025,\,0{,}033,\,0{,}0417,\,0{,}05

. O segundo valor

p

passa, o terceiro não, e nenhum dos seguintes: duas descobertas.

Testes múltiplos: a probabilidade de um falso positivo cresce como $1-(1-\alpha)^m$ .
Bonferroni controla a probabilidade de qualquer falsa descoberta (FWER) com o nível $\alpha/m$ .
Benjamini-Hochberg controla a parcela de falsas descobertas (FDR) e mantém mais poder.

Conte suas tentativas, inclusive as que não guardouA correção depende de quantas hipóteses você realmente tentou, não de quantas relata. Cada grade de parâmetros, cada ideia descartada, cada variação de um filtro conta, e o número honesto costuma ser muito maior que o do artigo. Anote as tentativas ao longo do caminho e, se não puder contá-las, suponha mais do que imagina.

Lab: o que é avaliado

Pelo menos um falso positivo15 pts
Um nível de Bonferroni10 pts
Falsas descobertas esperadas10 pts
Benjamini-Hochberg15 pts
Qual controla a taxa de falsas descobertas15 pts
O vocabulário15 pts
O melhor de muitos backtests20 pts

Quanto mais se procura, mais se encontra

p_i\le\frac{\alpha}{m},\qquad p_{(k)}\le\frac{k}{m}\,q

(1)

Vinte testes e seis valores pVinte testes independentes sobre ruído dão pelo menos um

p<0{,}05

com probabilidade

1-0{,}95^{20}=0{,}64

. Com 50 hipóteses, Bonferroni exige

p\le0{,}05/50=0{,}001

. Teste 1000 sinais a 5% quando nenhum funciona e espere

1000\cdot0{,}05=50

falsas descobertas. Para seis valores

p

ordenados

0{,}001,\,0{,}008,\,0{,}039,\,0{,}041,\,0{,}042,\,0{,}060

q=0{,}05

, os limiares de Benjamini-Hochberg

kq/6

são

0{,}0083,\,0{,}0167,\,0{,}025,\,0{,}033,\,0{,}0417,\,0{,}05

. O segundo valor

p

passa, o terceiro não, e nenhum dos seguintes: duas descobertas.

Testes múltiplos: a probabilidade de um falso positivo cresce como $1-(1-\alpha)^m$ .
Bonferroni controla a probabilidade de qualquer falsa descoberta (FWER) com o nível $\alpha/m$ .
Benjamini-Hochberg controla a parcela de falsas descobertas (FDR) e mantém mais poder.

Lab: o que é avaliado

Pelo menos um falso positivo15 pts
Um nível de Bonferroni10 pts
Falsas descobertas esperadas10 pts
Benjamini-Hochberg15 pts
Qual controla a taxa de falsas descobertas15 pts
O vocabulário15 pts
O melhor de muitos backtests20 pts

Testes múltiplos e falsas descobertas

Quanto mais se procura, mais se encontra

Lab: o que é avaliado

Entre para executar o seu código.

Testes múltiplos e falsas descobertas

Quanto mais se procura, mais se encontra

Lab: o que é avaliado

Entre para executar o seu código.