Detecção de outliers

Um valor que não pode estar certo

Um retorno diário de +30% numa ação de grande capitalização é uma OPA ou um erro de dados, como um desdobramento esquecido ou uma vírgula fora do lugar. Um valor atípico está longe o bastante dos outros para exigir uma decisão: mantê-lo, corrigi-lo ou removê-lo. Nunca o apague só porque incomoda, pois os choques reais são exatamente o que os modelos de risco precisam ver. O primeiro passo é sempre torná-los visíveis com uma regra explícita e repetível.

A regra do z-score e por que pode falhar

A regra clássica marca valores a mais de 2 ou 3 desvios padrão da média: z = (x - mean) / std. É simples e funciona com dados limpos. Mas o próprio valor atípico infla a média e principalmente o desvio padrão, e assim se esconde da regra. No exemplo abaixo o dia de +30% recebe um z-score de apenas 2,85 e, com limite 3, não seria marcado. Quanto mais extremo o erro, mais ele se protege.

import pandas as pd

returns = pd.Series([0.004, -0.002, 0.001, 0.003, -0.004, 0.002, 0.30, -0.001, 0.0, 0.002])

z = (returns - returns.mean()) / returns.std()
print(z.round(2).tolist())
# [-0.28, -0.34, -0.31, -0.29, -0.36, -0.3, 2.85, -0.33, -0.32, -0.3]

print(returns.mean().round(4), returns.std().round(4))   # 0.0305 0.0947   one day moved the mean tenfold
print(returns.drop(6).std().round(4))                    # 0.0026          the std without that day

Regras robustas: IQR e MAD

Estatísticas robustas quase não se movem com os valores atípicos que caçam. A amplitude interquartil IQR = Q3 - Q1 mede a dispersão da metade central dos dados, e valores além de Q1 - 1.5 * IQR ou Q3 + 1.5 * IQR ficam fora dos limites de um boxplot. O MAD (desvio absoluto mediano) troca o desvio padrão por uma mediana, e o z-score modificado 0.6745 * (x - median) / MAD lê-se como um z-score normal (3,5 é um corte comum). Os dois marcam o dia de +30% sem dificuldade.

# The fences of a box plot
q1, q3 = returns.quantile(0.25), returns.quantile(0.75)
spread = q3 - q1
lower, upper = q1 - 1.5 * spread, q3 + 1.5 * spread
print(round(lower, 4), round(upper, 4))                    # -0.006 0.008
print(returns[(returns < lower) | (returns > upper)].to_dict())   # {6: 0.3}

# The modified z-score, built on the median
median = returns.median()
mad = (returns - median).abs().median()
modified_z = 0.6745 * (returns - median) / mad
print(modified_z.round(1).tolist())   # [0.8, -1.2, -0.2, 0.5, -1.9, 0.2, 100.7, -0.8, -0.5, 0.2]

Winsorização: limitar em vez de apagar

Apagar uma linha também apaga a informação das outras colunas e quebra o espaçamento das datas. A winsorização mantém todas as linhas e puxa os valores extremos para quantis escolhidos, por exemplo os de 1% e 99%: o que está abaixo do quantil de 1% vira esse quantil, o que está acima do de 99% vira este. No pandas isso é clip(lower, upper) com os limites tirados de quantile. A forma da série sobrevive e os extremos perdem a força sobre médias e regressões.

low, high = returns.quantile(0.1), returns.quantile(0.9)
print(round(low, 4), round(high, 4))             # -0.0022 0.0336

clipped = returns.clip(lower=low, upper=high)
print(clipped.round(4).tolist())
# [0.004, -0.002, 0.001, 0.003, -0.0022, 0.002, 0.0336, -0.001, 0.0, 0.002]
#                                 ^ raised                  ^ the 30% day pulled back to the 90% quantile

# Flag with a rule, then look at what is flagged before deciding anything
mask = z.abs() > 2
print(returns[mask].to_dict())                 # {6: 0.3}        the +30% day
print(returns[~mask].std().round(4))           # 0.0026          the volatility of the remaining days

• A regra do z-score abs((x - mean) / std) > k é simples, mas os atípicos inflam a média e o desvio e podem se esconder.
• As regras robustas usam quantis e medianas: limites IQR (Q1 - 1.5 IQR, Q3 + 1.5 IQR) e o z-score modificado baseado no MAD.
• clip(lower, upper) com limites de quantis (winsorização) mantém as linhas; nunca apague um choque sem saber o que é.

A seguir: os eventos corporativos, os desdobramentos e dividendos que tornam um preço antigo incomparável com o de hoje.

Lab: o que é avaliado

• Marcar os retornos distantes com zscore_outliers25 pts
• Calcular os limites do boxplot com iqr_bounds25 pts
• Marcar valores atípicos com uma pontuação robusta com mad_outliers25 pts
• Domar os extremos com winsorize25 pts