Estatística descritiva e estimadores robustos

Resumir uma amostra bagunçada

A estatística descritiva comprime uma amostra em poucos números: onde ela está (posição), quão dispersa é (escala) e que forma tem. Os resumos usuais são a média $\bar x=\frac1n\sum x_i$ e o desvio-padrão amostral $s=\sqrt{\frac{1}{n-1}\sum(x_i-\bar x)^2}$ , com $n-1$ no denominador porque a média já foi estimada com os mesmos dados. São ótimos para dados limpos em forma de sino e frágeis caso contrário.

\operatorname{MAD}=\operatorname{median}_i\,|x_i-\operatorname{median}(x)|

(1)

Dados reais de retornos têm valores atípicos: um dia de colapso, uma cotação errada, uma fusão. Um único valor extremo arrasta a média e infla o desvio-padrão sem limite, por isso seu ponto de ruptura é zero. As alternativas robustas resistem a isso: a mediana para a posição, o desvio absoluto mediano (MAD) para a escala e a média aparada, que descarta uma fração dos menores e maiores valores antes de calcular a média. A winsorização é parecida, mas apara os extremos em vez de descartá-los.

Um dia ruimTome a amostra

2,\,3,\,3,\,4,\,100

. A média é

22{,}4

, longe de qualquer observação, por causa do 100. A mediana é

3

. Descartar o menor e o maior valor dá uma média aparada de

(3+3+4)/3=3{,}33

. Os desvios absolutos da mediana são

1,0,0,1,97

, então a MAD é

1

. Compare com o desvio-padrão amostral de cerca de 43,4: um único valor transformou uma dispersão típica de 1 em um número 40 vezes maior.

Posição: média (frágil), mediana e média aparada (robustas).
Escala: desvio-padrão (frágil), MAD e intervalo interquartil (robustos).
Robustez não é de graça: com dados normais limpos a média é mais precisa que a mediana; escolha conforme os dados esperados.

Não apague os valores atípicos, decida sobre elesUm dia de colapso é dado real, e um modelo de risco que o apara descreve um mundo calmo. Uma cotação errada é um erro e deve ser corrigida na origem. Examine cada valor atípico, rotule-o como erro ou evento e escolha então um método de propósito: as estatísticas robustas descrevem o dia típico, enquanto a média e o desvio-padrão continuam sendo as ferramentas certas quando os extremos são justamente o que importa, como em risco.

Lab: o que é avaliado

A média10 pts
A mediana10 pts
Uma média aparada15 pts
O desvio absoluto mediano15 pts
Quais estimadores são robustos15 pts
Um desvio-padrão amostral15 pts
Um dia extremo20 pts

Resumir uma amostra bagunçada

\operatorname{MAD}=\operatorname{median}_i\,|x_i-\operatorname{median}(x)|

(1)

Um dia ruimTome a amostra

2,\,3,\,3,\,4,\,100

. A média é

22{,}4

, longe de qualquer observação, por causa do 100. A mediana é

3

. Descartar o menor e o maior valor dá uma média aparada de

(3+3+4)/3=3{,}33

. Os desvios absolutos da mediana são

1,0,0,1,97

, então a MAD é

1

. Compare com o desvio-padrão amostral de cerca de 43,4: um único valor transformou uma dispersão típica de 1 em um número 40 vezes maior.

Posição: média (frágil), mediana e média aparada (robustas).
Escala: desvio-padrão (frágil), MAD e intervalo interquartil (robustos).
Robustez não é de graça: com dados normais limpos a média é mais precisa que a mediana; escolha conforme os dados esperados.

Lab: o que é avaliado

A média10 pts
A mediana10 pts
Uma média aparada15 pts
O desvio absoluto mediano15 pts
Quais estimadores são robustos15 pts
Um desvio-padrão amostral15 pts
Um dia extremo20 pts

Estatística descritiva e estimadores robustos

Resumir uma amostra bagunçada

Lab: o que é avaliado

Entre para executar o seu código.

Estatística descritiva e estimadores robustos

Resumir uma amostra bagunçada

Lab: o que é avaliado

Entre para executar o seu código.