Quand 80 % doit vouloir dire 80 %
Une prévision de probabilité est calibrée quand, parmi les jours où elle disait p, la part de jours de hausse vaut environ p. Classer et calibrer sont deux vertus différentes : un modèle peut bien ordonner les jours (AUC élevée) et dire 0,8 quand la vérité est 0,55. Le score le plus simple des probabilités est le score de Brier, 1/nΣ(pᵢ-yᵢ)², l'erreur quadratique moyenne de la prévision ; 0 est parfait, 0,25 est ce qu'on obtient en disant toujours 0,5. Pour voir la calibration, découpez [0,1] en classes et comparez, dans chacune, la probabilité prédite moyenne à la part de uns. Ce tableau est la courbe de fiabilité. Additionner les écarts, pondérés par la taille de chaque classe, donne l'erreur de calibration attendue : ECE=Σₖnₖ/n |ȳₖ-p̄ₖ|.
Une forêt aléatoire moyenne de nombreux arbres, et la moyenne éloigne bizarrement les probabilités de 0 et de 1 : elles sont souvent trop extrêmes là où les arbres s'accordent en mémorisant du bruit. CalibratedClassifierCV corrige cela en apprenant une petite correction sur des données écartées. La méthode 'sigmoid' ajuste une courbe logistique p'=1/(1+e^(-(a s+b))) aux scores du modèle (deux nombres, stable), et 'isotonic' ajuste une fonction en escalier croissante libre (plus souple, demande plus de données). Avec des données financières, les plis écartés doivent venir après les plis d'entraînement, donc passez cv=TimeSeriesSplit(3). Sur les derniers 30 % de 5 344 jours de SPY, prédire toujours le taux de base donne un score de Brier de 0,2473. La forêt brute obtient 0,2600 avec une erreur de 0,095, ses probabilités allant de 0,15 à 0,83 ; après calibration sigmoïde, le score de Brier est 0,2475 et l'erreur 0,0001. La calibration a transformé un modèle trop sûr de lui en modèle honnête, et l'honnête est le taux de base, parce que la forêt n'a aucune compétence.
- Le rang n'est pas la probabilité : une AUC élevée ne dit pas si 80 % veut dire 80 %.
- Le score de Brier et les classes de fiabilité sont les contrôles ; la référence à battre est le score de Brier du taux de base.
- Calibrez sur des données plus récentes :
CalibratedClassifierCV(..., cv=TimeSeriesSplit(3)), sigmoïde d'abord, isotonique avec plus de données.
Lab : ce qui est noté
- Le score de Brier10 pts
- Le tableau de fiabilité25 pts
- Erreur de calibration15 pts
- La forêt10 pts
- La forêt calibrée20 pts
- L'étude de calibration20 pts