La régression logistique pour la direction

D'un score à une probabilité

La régression logistique prévoit un oui ou un non, par exemple si le rendement de demain est positif. Elle construit d'abord un score linéaire $z=a+bx$, comme une régression linéaire, puis le transforme en probabilité avec la sigmoïde $p=1/(1+e^{-z})$. Le score est le logarithme de la cote : $z=\ln\frac{p}{1-p}$, donc $e^{z}$ est la cote. Un score de $0$ signifie $p=0{,}5$. Le modèle est ajusté en minimisant la log-perte, $-\ln p$ quand le résultat était oui et $-\ln(1-p)$ quand il était non, ce qui punit lourdement les erreurs faites avec confiance. La classe annoncée dépend d'un seuil, d'habitude $0{,}5$, que l'on peut déplacer.

La précision seule trompe quand une classe est fréquente. Un modèle qui dit toujours hausse paraît bon si la plupart des jours sont à la hausse, et il est inutile pour trader. Jugez un modèle de direction par la log-perte face à la référence à taux constant, par la calibration de ses probabilités et surtout par le rendement d'une stratégie qui les utilise après coûts. Dans une décision par seuil, le coût d'un mauvais achat et d'une occasion manquée sont rarement égaux : le meilleur seuil n'est donc souvent pas $0{,}5$.

• Score puis sigmoïde : un score linéaire devient une probabilité entre $0$ et $1$.
• La log-perte punit la confiance : une réponse fausse faite avec assurance coûte bien plus qu'une hésitante.
• Battre la référence : comparez avec la prévision constante du taux de base, pas avec $50\%$.

Lab : ce qui est noté

• Une probabilité à partir d'un score15 pts
• La cote10 pts
• Une log-perte15 pts
• Où le modèle hésite10 pts
• La référence constante10 pts
• Pourquoi la précision trompe10 pts
• Associer le vocabulaire10 pts
• Pourquoi le modèle bat à peine la référence20 pts