Quando 80 % deve significar 80 %
Uma previsão de probabilidade é calibrada quando, entre os dias em que disse p, a parcela de dias de alta é cerca de p. Ordenar e calibrar são virtudes diferentes: um modelo pode ordenar bem os dias (AUC alta) e dizer 0,8 quando a verdade é 0,55. A pontuação mais simples das probabilidades é a pontuação de Brier, 1/nΣ(pᵢ-yᵢ)², o erro quadrático médio da previsão; 0 é perfeito e 0,25 é o que se obtém dizendo sempre 0,5. Para ver a calibração, corte [0,1] em faixas e compare, em cada uma, a probabilidade média prevista com a parcela de uns. Essa tabela é a curva de confiabilidade. Somar as diferenças, ponderadas pelo tamanho de cada faixa, dá o erro de calibração esperado: ECE=Σₖnₖ/n |ȳₖ-p̄ₖ|.
Uma floresta aleatória faz a média de muitas árvores, e a média afasta as probabilidades de 0 e 1 de modo estranho: costumam ser extremas demais onde as árvores concordam por memorizar ruído. O CalibratedClassifierCV corrige isso aprendendo uma pequena correção em dados separados. O método 'sigmoid' ajusta uma curva logística p'=1/(1+e^(-(a s+b))) aos escores do modelo (dois números, estável) e 'isotonic' ajusta uma função em degraus não decrescente livre (mais flexível, pede mais dados). Com dados financeiros, as dobras separadas devem vir depois das de treino, então passe cv=TimeSeriesSplit(3). Nos últimos 30 % de 5.344 dias do SPY, prever sempre a taxa base dá pontuação de Brier de 0,2473. A floresta bruta obtém 0,2600 com erro de 0,095, com probabilidades de 0,15 a 0,83; depois da calibração sigmoide a pontuação de Brier é 0,2475 e o erro 0,0001. A calibração transformou um modelo confiante demais em um honesto, e o honesto é a taxa base, porque a floresta não tem habilidade.
- Ordem não é probabilidade: uma AUC alta não diz se 80 % significa 80 %.
- A pontuação de Brier e as faixas de confiabilidade são as verificações; a referência a bater é a pontuação de Brier da taxa base.
- Calibre em dados posteriores:
CalibratedClassifierCV(..., cv=TimeSeriesSplit(3)), sigmoide primeiro, isotônica com mais dados.
Lab: o que é avaliado
- A pontuação de Brier10 pts
- A tabela de confiabilidade25 pts
- Erro de calibração15 pts
- A floresta10 pts
- A floresta calibrada20 pts
- O estudo de calibração20 pts