Coeficiente de información tasa de acierto y calibración

Puntuar un modelo que ordena acciones

Un modelo de rendimientos para muchas acciones no necesita predecir el tamaño de cada rendimiento. Necesita poner las acciones en el orden correcto. El coeficiente de información, IC, es la correlación de rangos entre las predicciones y los rendimientos realizados de un mes, con $\rho=1-6\sum d_i^{2}/(n(n^{2}-1))$ donde $d_i$ es la diferencia entre los dos rangos de la acción $i$ . Está entre $-1$ y $1$ , y valores de $0{,}02$ a $0{,}05$ son típicos de señales reales. Se calcula un IC por mes y se miran la media y el estadístico t $\overline{\mathrm{IC}}/(s/\sqrt{m})$ sobre $m$ meses, que dice si la media se distingue de cero.

\rho=1-\frac{6\sum d_i^{2}}{n(n^{2}-1)},\qquad t=\frac{\overline{\mathrm{IC}}}{s/\sqrt{m}},\qquad \mathrm{IR}\approx\mathrm{IC}\cdot\sqrt{N\cdot 12},\qquad B=\frac1n\sum_i(p_i-y_i)^{2}

(1)

Cuando el modelo da probabilidades, como la posibilidad de que una acción supere la mediana, importan dos puntuaciones más. La tasa de acierto es la proporción de aciertos, fácil de leer y ruidosa. La puntuación de Brier es la media de $(p_i-y_i)^{2}$ , menor es mejor, y una predicción constante de $0{,}5$ da $0{,}25$ . La calibración pregunta si las probabilidades significan lo que dicen: entre los casos en que el modelo dijo $70\%$ , deberían haber ocurrido cerca del $70\%$ . Un modelo que ordena bien puede estar mal calibrado, y la calibración decide cuánto apostar. La ley fundamental une ambos mundos: el ratio de información anual es aproximadamente el IC por la raíz del número de apuestas independientes.

Cinco acciones y un modelo realPredicciones

0{,}1;0{,}4;0{,}2;0{,}9;0{,}5

frente a rendimientos

-1,2,0,3,1

tienen rangos de predicción

1,3,2,5,4

y rangos de rendimiento

1,4,2,5,3

. Las diferencias de rango son

0,-1,0,0,1

, así que

\sum d^{2}=2

\rho=1-6\times2/(5\times24)=0{,}9

. Para las probabilidades

0{,}8;0{,}6;0{,}3

con resultados

1,0,0

, la puntuación de Brier es

(0{,}04+0{,}36+0{,}09)/3=0{,}163

, que supera

0{,}25

y da una habilidad del

35\%

. En el modelo mensual real de acciones (54 acciones,

257

meses de prueba) el IC medio es

0{,}0326

con una dispersión de unos

0{,}21

, así que

t=0{,}0326/(0{,}21/\sqrt{257})=2{,}49

, y la tasa de acierto es solo del

50{,}7\%

. La ley fundamental,

0{,}0326\times\sqrt{54\times12}=0{,}83

, es una cota superior que ignora los costes y que las apuestas no son independientes.

Rango, no tamaño: el IC premia ordenar bien las acciones e ignora el tamaño de los atípicos.
Mire el estadístico t: un IC medio de $0{,}03$ solo tiene sentido si está varios errores estándar por encima de cero.
Las probabilidades necesitan calibración: la puntuación de Brier y la fiabilidad dicen si $70\%$ significa $70\%$ .

Lab: qué se califica

Diferencias de rango al cuadrado10 pts
La correlación de rangos15 pts
Un estadístico t para el IC medio15 pts
Una puntuación de Brier15 pts
La ley fundamental10 pts
Tasa de acierto frente a IC10 pts
Emparejar el vocabulario10 pts
Por qué importa la calibración15 pts

Puntuar un modelo que ordena acciones

\rho=1-\frac{6\sum d_i^{2}}{n(n^{2}-1)},\qquad t=\frac{\overline{\mathrm{IC}}}{s/\sqrt{m}},\qquad \mathrm{IR}\approx\mathrm{IC}\cdot\sqrt{N\cdot 12},\qquad B=\frac1n\sum_i(p_i-y_i)^{2}

(1)

Cinco acciones y un modelo realPredicciones

0{,}1;0{,}4;0{,}2;0{,}9;0{,}5

frente a rendimientos

-1,2,0,3,1

tienen rangos de predicción

1,3,2,5,4

y rangos de rendimiento

1,4,2,5,3

. Las diferencias de rango son

0,-1,0,0,1

, así que

\sum d^{2}=2

\rho=1-6\times2/(5\times24)=0{,}9

. Para las probabilidades

0{,}8;0{,}6;0{,}3

con resultados

1,0,0

, la puntuación de Brier es

(0{,}04+0{,}36+0{,}09)/3=0{,}163

, que supera

0{,}25

y da una habilidad del

35\%

. En el modelo mensual real de acciones (54 acciones,

257

meses de prueba) el IC medio es

0{,}0326

con una dispersión de unos

0{,}21

, así que

t=0{,}0326/(0{,}21/\sqrt{257})=2{,}49

, y la tasa de acierto es solo del

50{,}7\%

. La ley fundamental,

0{,}0326\times\sqrt{54\times12}=0{,}83

, es una cota superior que ignora los costes y que las apuestas no son independientes.

Rango, no tamaño: el IC premia ordenar bien las acciones e ignora el tamaño de los atípicos.
Mire el estadístico t: un IC medio de $0{,}03$ solo tiene sentido si está varios errores estándar por encima de cero.
Las probabilidades necesitan calibración: la puntuación de Brier y la fiabilidad dicen si $70\%$ significa $70\%$ .

Lab: qué se califica

Diferencias de rango al cuadrado10 pts
La correlación de rangos15 pts
Un estadístico t para el IC medio15 pts
Una puntuación de Brier15 pts
La ley fundamental10 pts
Tasa de acierto frente a IC10 pts
Emparejar el vocabulario10 pts
Por qué importa la calibración15 pts

Coeficiente de información tasa de acierto y calibración

Puntuar un modelo que ordena acciones

Lab: qué se califica

Inicia sesión para ejecutar tu código.

Coeficiente de información tasa de acierto y calibración

Puntuar un modelo que ordena acciones

Lab: qué se califica

Inicia sesión para ejecutar tu código.