Coefficient d'information taux de réussite et calibration

Noter un modèle qui classe des actions

Un modèle de rendements pour de nombreuses actions n'a pas besoin de prévoir la taille de chaque rendement. Il doit mettre les actions dans le bon ordre. Le coefficient d'information, IC, est la corrélation de rang entre les prévisions et les rendements réalisés d'un mois, avec $\rho=1-6\sum d_i^{2}/(n(n^{2}-1))$ où $d_i$ est la différence entre les deux rangs de l'action $i$ . Il est compris entre $-1$ et $1$ , et des valeurs de $0{,}02$ à $0{,}05$ sont typiques de vrais signaux. On calcule un IC par mois et l'on regarde la moyenne et la statistique t $\overline{\mathrm{IC}}/(s/\sqrt{m})$ sur $m$ mois, qui dit si la moyenne se distingue de zéro.

\rho=1-\frac{6\sum d_i^{2}}{n(n^{2}-1)},\qquad t=\frac{\overline{\mathrm{IC}}}{s/\sqrt{m}},\qquad \mathrm{IR}\approx\mathrm{IC}\cdot\sqrt{N\cdot 12},\qquad B=\frac1n\sum_i(p_i-y_i)^{2}

(1)

Quand le modèle sort des probabilités, comme la chance qu'une action batte la médiane, deux autres scores comptent. Le taux de réussite est la part des bons appels, facile à lire et bruité. Le score de Brier est la moyenne de $(p_i-y_i)^{2}$ , plus bas est meilleur, et une prévision constante de $0{,}5$ vaut $0{,}25$ . La calibration demande si les probabilités signifient ce qu'elles disent : parmi les cas où le modèle a dit $70\%$ , environ $70\%$ devraient s'être produits. Un modèle qui classe bien peut être mal calibré, et la calibration décide combien miser. La loi fondamentale relie les deux mondes : le ratio d'information annuel vaut à peu près l'IC fois la racine du nombre de paris indépendants.

Cinq actions et un vrai modèleDes prévisions

0{,}1;0{,}4;0{,}2;0{,}9;0{,}5

face à des rendements

-1,2,0,3,1

ont les rangs de prévision

1,3,2,5,4

et les rangs de rendement

1,4,2,5,3

. Les différences de rang sont

0,-1,0,0,1

, donc

\sum d^{2}=2

\rho=1-6\times2/(5\times24)=0{,}9

. Pour les probabilités

0{,}8;0{,}6;0{,}3

avec les résultats

1,0,0

, le score de Brier vaut

(0{,}04+0{,}36+0{,}09)/3=0{,}163

, ce qui bat

0{,}25

et donne une compétence de

35\%

. Sur le vrai modèle mensuel d'actions (54 actions,

257

mois de test) l'IC moyen est

0{,}0326

avec une dispersion d'environ

0{,}21

, donc

t=0{,}0326/(0{,}21/\sqrt{257})=2{,}49

, et le taux de réussite n'est que de

50{,}7\%

. La loi fondamentale,

0{,}0326\times\sqrt{54\times12}=0{,}83

, est une borne haute qui ignore les coûts et le fait que les paris ne sont pas indépendants.

Le rang, pas la taille : l'IC récompense le bon classement et ignore la taille des valeurs extrêmes.
Regardez la statistique t : un IC moyen de $0{,}03$ n'a de sens que s'il est de plusieurs erreurs types au-dessus de zéro.
Les probabilités demandent de la calibration : le score de Brier et la fiabilité disent si $70\%$ veut dire $70\%$ .

Lab : ce qui est noté

Différences de rang au carré10 pts
La corrélation de rang15 pts
Une statistique t pour l'IC moyen15 pts
Un score de Brier15 pts
La loi fondamentale10 pts
Taux de réussite contre IC10 pts
Associer le vocabulaire10 pts
Pourquoi la calibration compte15 pts

Noter un modèle qui classe des actions

\rho=1-\frac{6\sum d_i^{2}}{n(n^{2}-1)},\qquad t=\frac{\overline{\mathrm{IC}}}{s/\sqrt{m}},\qquad \mathrm{IR}\approx\mathrm{IC}\cdot\sqrt{N\cdot 12},\qquad B=\frac1n\sum_i(p_i-y_i)^{2}

(1)

Cinq actions et un vrai modèleDes prévisions

0{,}1;0{,}4;0{,}2;0{,}9;0{,}5

face à des rendements

-1,2,0,3,1

ont les rangs de prévision

1,3,2,5,4

et les rangs de rendement

1,4,2,5,3

. Les différences de rang sont

0,-1,0,0,1

, donc

\sum d^{2}=2

\rho=1-6\times2/(5\times24)=0{,}9

. Pour les probabilités

0{,}8;0{,}6;0{,}3

avec les résultats

1,0,0

, le score de Brier vaut

(0{,}04+0{,}36+0{,}09)/3=0{,}163

, ce qui bat

0{,}25

et donne une compétence de

35\%

. Sur le vrai modèle mensuel d'actions (54 actions,

257

mois de test) l'IC moyen est

0{,}0326

avec une dispersion d'environ

0{,}21

, donc

t=0{,}0326/(0{,}21/\sqrt{257})=2{,}49

, et le taux de réussite n'est que de

50{,}7\%

. La loi fondamentale,

0{,}0326\times\sqrt{54\times12}=0{,}83

, est une borne haute qui ignore les coûts et le fait que les paris ne sont pas indépendants.

Le rang, pas la taille : l'IC récompense le bon classement et ignore la taille des valeurs extrêmes.
Regardez la statistique t : un IC moyen de $0{,}03$ n'a de sens que s'il est de plusieurs erreurs types au-dessus de zéro.
Les probabilités demandent de la calibration : le score de Brier et la fiabilité disent si $70\%$ veut dire $70\%$ .

Lab : ce qui est noté

Différences de rang au carré10 pts
La corrélation de rang15 pts
Une statistique t pour l'IC moyen15 pts
Un score de Brier15 pts
La loi fondamentale10 pts
Taux de réussite contre IC10 pts
Associer le vocabulaire10 pts
Pourquoi la calibration compte15 pts

Coefficient d'information taux de réussite et calibration

Noter un modèle qui classe des actions

Lab : ce qui est noté

Connectez-vous pour exécuter votre code.

Coefficient d'information taux de réussite et calibration

Noter un modèle qui classe des actions

Lab : ce qui est noté

Connectez-vous pour exécuter votre code.