銘柄を順位付けするモデルの採点
多数の銘柄のリターンモデルは、個々のリターンの大きさを当てる必要はなく、銘柄を正しい順に並べればよいのです。情報係数（IC）は、ある月の予測と実現リターンの順位相関で、ρ=1−6∑di2/(n(n2−1))（di は銘柄 i の2つの順位の差）です。−1 から 1 の間にあり、本物のシグナルでは 0.02 から 0.05 が典型的です。ICを月ごとに計算し、平均と、m か月にわたる t 統計量 IC/(s/m) を見ます。t 統計量は平均が0と区別できるかを示します。
ρ=1−n(n2−1)6∑di2,t=s/mIC,IR≈IC⋅N⋅12,B=n1i∑(pi−yi)2(1) モデルが確率を出す場合（たとえば銘柄が中央値を上回る確率）、さらに2つの指標が重要です。的中率は当たりの割合で、読みやすい反面ノイズが大きいです。ブライアースコアは (pi−yi)2 の平均で、低いほど良く、定数 0.5 の予測は 0.25 です。キャリブレーションは確率が言葉どおりの意味をもつかを問います。モデルが 70% と言った場合のうち約 70% が実際に起きているべきです。順位付けが良くてもキャリブレーションが悪いことはあり、賭ける大きさはキャリブレーションで決まります。基本法則が両者をつなぎます。年率のインフォメーションレシオは、ほぼ IC に独立な賭けの数の平方根を掛けたものです。
5銘柄と実際のモデル予測
0.1,0.4,0.2,0.9,0.5 と実現リターン
−1,2,0,3,1 では、予測の順位は
1,3,2,5,4、リターンの順位は
1,4,2,5,3 です。順位差は
0,−1,0,0,1 なので
∑d2=2、
ρ=1−6×2/(5×24)=0.9 です。確率
0.8,0.6,0.3 と結果
1,0,0 のブライアースコアは
(0.04+0.36+0.09)/3=0.163 で、
0.25 を上回り、スキルは
35% です。実際の月次株式モデル（54銘柄、テスト
257 か月）では平均ICが
0.0326、ばらつきが約
0.21 なので
t=0.0326/(0.21/257)=2.49、的中率は
50.7% にすぎません。基本法則
0.0326×54×12=0.83 は、コストと賭けが独立でないことを無視した上限です。
- 大きさでなく順位：ICは銘柄を正しく並べることを評価し、外れ値の大きさは無視する。
- t統計量を見る：平均IC 0.03 は、0より標準誤差の数倍上にあって初めて意味がある。
- 確率にはキャリブレーションが必要：ブライアースコアと信頼性で、70% が本当に 70% かが分かる。
ラボ：採点される内容
- 順位差の2乗10点
- 順位相関15点
- 平均ICのt統計量15点
- ブライアースコア15点
- 基本法則10点
- 的中率とIC10点
- 用語を結び付ける10点
- なぜキャリブレーションが重要か15点
