Coeficiente de informação taxa de acerto e calibração

Pontuar um modelo que ordena ações

Um modelo de retornos para muitas ações não precisa prever o tamanho de cada retorno. Precisa pôr as ações na ordem certa. O coeficiente de informação, IC, é a correlação de postos entre as previsões e os retornos realizados de um mês, com $\rho=1-6\sum d_i^{2}/(n(n^{2}-1))$ em que $d_i$ é a diferença entre os dois postos da ação $i$ . Fica entre $-1$ e $1$ , e valores de $0{,}02$ a $0{,}05$ são típicos de sinais reais. Calcula-se um IC por mês e olha-se a média e a estatística t $\overline{\mathrm{IC}}/(s/\sqrt{m})$ em $m$ meses, que diz se a média se distingue de zero.

\rho=1-\frac{6\sum d_i^{2}}{n(n^{2}-1)},\qquad t=\frac{\overline{\mathrm{IC}}}{s/\sqrt{m}},\qquad \mathrm{IR}\approx\mathrm{IC}\cdot\sqrt{N\cdot 12},\qquad B=\frac1n\sum_i(p_i-y_i)^{2}

(1)

Quando o modelo dá probabilidades, como a chance de uma ação superar a mediana, mais duas pontuações importam. A taxa de acerto é a parcela de acertos, fácil de ler e ruidosa. O escore de Brier é a média de $(p_i-y_i)^{2}$ , menor é melhor, e um palpite constante de $0{,}5$ dá $0{,}25$ . A calibração pergunta se as probabilidades significam o que dizem: entre os casos em que o modelo disse $70\%$ , cerca de $70\%$ deveriam ter ocorrido. Um modelo que ordena bem pode estar mal calibrado, e a calibração decide quanto apostar. A lei fundamental liga os dois mundos: o índice de informação anual é aproximadamente o IC vezes a raiz do número de apostas independentes.

Cinco ações e um modelo realPrevisões

0{,}1;0{,}4;0{,}2;0{,}9;0{,}5

contra retornos

-1,2,0,3,1

têm postos de previsão

1,3,2,5,4

e postos de retorno

1,4,2,5,3

. As diferenças de posto são

0,-1,0,0,1

, então

\sum d^{2}=2

\rho=1-6\times2/(5\times24)=0{,}9

. Para as probabilidades

0{,}8;0{,}6;0{,}3

com resultados

1,0,0

, o escore de Brier é

(0{,}04+0{,}36+0{,}09)/3=0{,}163

, que supera

0{,}25

e dá uma habilidade de

35\%

. No modelo mensal real de ações (54 ações,

257

meses de teste) o IC médio é

0{,}0326

com dispersão de cerca de

0{,}21

, então

t=0{,}0326/(0{,}21/\sqrt{257})=2{,}49

, e a taxa de acerto é só

50{,}7\%

. A lei fundamental,

0{,}0326\times\sqrt{54\times12}=0{,}83

, é um limite superior que ignora custos e o fato de as apostas não serem independentes.

Posto, não tamanho: o IC premia ordenar bem as ações e ignora o tamanho dos extremos.
Olhe a estatística t: um IC médio de $0{,}03$ só faz sentido se estiver vários erros padrão acima de zero.
Probabilidades precisam de calibração: o escore de Brier e a confiabilidade dizem se $70\%$ significa $70\%$ .

Lab: o que é avaliado

Diferenças de posto ao quadrado10 pts
A correlação de postos15 pts
Uma estatística t para o IC médio15 pts
Um escore de Brier15 pts
A lei fundamental10 pts
Taxa de acerto contra IC10 pts
Associar o vocabulário10 pts
Por que a calibração importa15 pts

Pontuar um modelo que ordena ações

\rho=1-\frac{6\sum d_i^{2}}{n(n^{2}-1)},\qquad t=\frac{\overline{\mathrm{IC}}}{s/\sqrt{m}},\qquad \mathrm{IR}\approx\mathrm{IC}\cdot\sqrt{N\cdot 12},\qquad B=\frac1n\sum_i(p_i-y_i)^{2}

(1)

Cinco ações e um modelo realPrevisões

0{,}1;0{,}4;0{,}2;0{,}9;0{,}5

contra retornos

-1,2,0,3,1

têm postos de previsão

1,3,2,5,4

e postos de retorno

1,4,2,5,3

. As diferenças de posto são

0,-1,0,0,1

, então

\sum d^{2}=2

\rho=1-6\times2/(5\times24)=0{,}9

. Para as probabilidades

0{,}8;0{,}6;0{,}3

com resultados

1,0,0

, o escore de Brier é

(0{,}04+0{,}36+0{,}09)/3=0{,}163

, que supera

0{,}25

e dá uma habilidade de

35\%

. No modelo mensal real de ações (54 ações,

257

meses de teste) o IC médio é

0{,}0326

com dispersão de cerca de

0{,}21

, então

t=0{,}0326/(0{,}21/\sqrt{257})=2{,}49

, e a taxa de acerto é só

50{,}7\%

. A lei fundamental,

0{,}0326\times\sqrt{54\times12}=0{,}83

, é um limite superior que ignora custos e o fato de as apostas não serem independentes.

Posto, não tamanho: o IC premia ordenar bem as ações e ignora o tamanho dos extremos.
Olhe a estatística t: um IC médio de $0{,}03$ só faz sentido se estiver vários erros padrão acima de zero.
Probabilidades precisam de calibração: o escore de Brier e a confiabilidade dizem se $70\%$ significa $70\%$ .

Lab: o que é avaliado

Diferenças de posto ao quadrado10 pts
A correlação de postos15 pts
Uma estatística t para o IC médio15 pts
Um escore de Brier15 pts
A lei fundamental10 pts
Taxa de acerto contra IC10 pts
Associar o vocabulário10 pts
Por que a calibração importa15 pts

Coeficiente de informação taxa de acerto e calibração

Pontuar um modelo que ordena ações

Lab: o que é avaliado

Entre para executar o seu código.

Coeficiente de informação taxa de acerto e calibração

Pontuar um modelo que ordena ações

Lab: o que é avaliado

Entre para executar o seu código.