σμimplied vol · KKmax(S−K,0)udβρᵢⱼfat tailsPnL · drawdownyield · TdSₜ = μSₜ dt + σSₜ dWₜC = S·N(d₁) − K·e⁻ʳᵀ·N(d₂)σₚ² = wᵀΣwd₁ = [ln(S/K) + (r + σ²⁄2)T] ⁄ σ√T∂V/∂t + ½σ²S²·∂²V/∂S² + rS·∂V/∂S − rV = 0Sharpe = (Rₚ − R_f) ⁄ σₚVaR₉₉ = μ − 2.33σρ = Cov(X,Y) ⁄ σₓσᵧE[Rₚ] = Σ wᵢ·E[Rᵢ]φ(x) = e^(−x²/2) ⁄ √2πE[Rᵢ] = R_f + βᵢ(E[Rₘ] − R_f)dXₜ = θ(μ − Xₜ)dt + σ dWₜσ²ₜ = ω + α·ε²ₜ₋₁ + β·σ²ₜ₋₁C − P = S − K·e⁻ʳᵀΔ = ∂V/∂S Γ = ∂²V/∂S²p = (e^(rΔt) − d) ⁄ (u − d)rₜ = ln(Pₜ ⁄ Pₜ₋₁)E[Xₜ₊₁ | ℱₜ] = Xₜf* = (bp − q) ⁄ bz = (x − μ) ⁄ σP(N=k) = λᵏe^(−λ) ⁄ k!Θ = −∂V/∂Tν = S·φ(d₁)·√Tmin wᵀΣw s.t. wᵀμ = μ*∫Σ∂∞λ
uantCraft Academy路线图学习路线
Ctrl K
AO
+1.2k 位学习者
登录加入 ↗
路线图学习路线
AO
+1.2k 位学习者
登录
  • English
  • Français
  • Español
  • العربية
  • Português
  • Deutsch
  • 日本語
  • 中文
σμimplied vol · KKmax(S−K,0)udβρᵢⱼfat tailsPnL · drawdownyield · TdSₜ = μSₜ dt + σSₜ dWₜC = S·N(d₁) − K·e⁻ʳᵀ·N(d₂)σₚ² = wᵀΣwd₁ = [ln(S/K) + (r + σ²⁄2)T] ⁄ σ√T∂V/∂t + ½σ²S²·∂²V/∂S² + rS·∂V/∂S − rV = 0Sharpe = (Rₚ − R_f) ⁄ σₚVaR₉₉ = μ − 2.33σρ = Cov(X,Y) ⁄ σₓσᵧE[Rₚ] = Σ wᵢ·E[Rᵢ]φ(x) = e^(−x²/2) ⁄ √2πE[Rᵢ] = R_f + βᵢ(E[Rₘ] − R_f)dXₜ = θ(μ − Xₜ)dt + σ dWₜσ²ₜ = ω + α·ε²ₜ₋₁ + β·σ²ₜ₋₁C − P = S − K·e⁻ʳᵀΔ = ∂V/∂S Γ = ∂²V/∂S²p = (e^(rΔt) − d) ⁄ (u − d)rₜ = ln(Pₜ ⁄ Pₜ₋₁)E[Xₜ₊₁ | ℱₜ] = Xₜf* = (bp − q) ⁄ bz = (x − μ) ⁄ σP(N=k) = λᵏe^(−λ) ⁄ k!Θ = −∂V/∂Tν = S·φ(d₁)·√Tmin wᵀΣw s.t. wᵀμ = μ*∫Σ∂∞λ
uantCraft Academy路线图学习路线
Ctrl K
AO
+1.2k 位学习者
登录加入 ↗
路线图学习路线
AO
+1.2k 位学习者
登录
  • English
  • Français
  • Español
  • العربية
  • Português
  • Deutsch
  • 日本語
  • 中文
scikit-learn 学习路线›模块 3 · 诚实的评估›主题 3.5·~50分钟高级

信息系数、命中率与校准

路线进度模块 3/4 · 主题 5/6
3.5 信息系数、命中率与校准
—实验得分— / 100总 XP—连续天数—

给对股票排序的模型打分

针对许多股票的收益模型不需要预测每个收益的大小,只需要把股票排对顺序。信息系数 IC 是某个月预测值与实现收益之间的秩相关,ρ=1−6∑di2/(n(n2−1))\rho=1-6\sum d_i^{2}/(n(n^{2}-1))ρ=1−6∑di2​/(n(n2−1)),其中 did_idi​ 是股票 iii 的两个名次之差。它介于 −1-1−1 与 111 之间,真实信号的典型值为 0.020.020.02 到 0.050.050.05。每月算一个 IC,再看 mmm 个月的均值和 t 统计量 IC‾/(s/m)\overline{\mathrm{IC}}/(s/\sqrt{m})IC/(s/m​),后者说明均值能否与零区分开。

ρ=1−6∑di2n(n2−1),t=IC‾s/m,IR≈IC⋅N⋅12,B=1n∑i(pi−yi)2\rho=1-\frac{6\sum d_i^{2}}{n(n^{2}-1)},\qquad t=\frac{\overline{\mathrm{IC}}}{s/\sqrt{m}},\qquad \mathrm{IR}\approx\mathrm{IC}\cdot\sqrt{N\cdot 12},\qquad B=\frac1n\sum_i(p_i-y_i)^{2}ρ=1−n(n2−1)6∑di2​​,t=s/m​IC​,IR≈IC⋅N⋅12​,B=n1​i∑​(pi​−yi​)2(1)

当模型输出概率(例如某股票跑赢中位数的可能性)时,还有两个得分重要。命中率是判断正确的比例,容易理解但噪声大。Brier 得分是 (pi−yi)2(p_i-y_i)^{2}(pi​−yi​)2 的均值,越低越好,常数猜测 0.50.50.5 得 0.250.250.25。校准问的是概率是否名副其实:模型说 70%70\%70% 的那些情形里,大约应有 70%70\%70% 真的发生。排序好的模型也可能校准很差,而校准决定下注多少。基本定律把两者联系起来:年化信息比率大致等于 IC 乘以独立下注数的平方根。

五只股票与一个真实模型预测值 0.1,0.4,0.2,0.9,0.50.1,0.4,0.2,0.9,0.50.1,0.4,0.2,0.9,0.5 对实际收益 −1,2,0,3,1-1,2,0,3,1−1,2,0,3,1,预测名次为 1,3,2,5,41,3,2,5,41,3,2,5,4,收益名次为 1,4,2,5,31,4,2,5,31,4,2,5,3。名次差为 0,−1,0,0,10,-1,0,0,10,−1,0,0,1,所以 ∑d2=2\sum d^{2}=2∑d2=2,ρ=1−6×2/(5×24)=0.9\rho=1-6\times2/(5\times24)=0.9ρ=1−6×2/(5×24)=0.9。概率 0.8,0.6,0.30.8,0.6,0.30.8,0.6,0.3、结果 1,0,01,0,01,0,0 的 Brier 得分为 (0.04+0.36+0.09)/3=0.163(0.04+0.36+0.09)/3=0.163(0.04+0.36+0.09)/3=0.163,优于 0.250.250.25,技能为 35%35\%35%。在真实的月度股票模型上(54 只股票、257257257 个测试月),平均 IC 为 0.03260.03260.0326,波动约 0.210.210.21,所以 t=0.0326/(0.21/257)=2.49t=0.0326/(0.21/\sqrt{257})=2.49t=0.0326/(0.21/257​)=2.49,而命中率只有 50.7%50.7\%50.7%。基本定律 0.0326×54×12=0.830.0326\times\sqrt{54\times12}=0.830.0326×54×12​=0.83 是一个上限,忽略了成本,也忽略了这些下注并不独立。
  • 看名次,不看大小:IC 奖励把股票排对顺序,忽略极端值的大小。
  • 看 t 统计量:平均 IC 为 0.030.030.03 只有在高于零几个标准误时才有意义。
  • 概率需要校准:Brier 得分和可靠性图说明 70%70\%70% 是否真的是 70%70\%70%。

实验:评分内容

  • 名次差的平方10 分
  • 秩相关15 分
  • 平均 IC 的 t 统计量15 分
  • Brier 得分15 分
  • 基本定律10 分
  • 命中率与 IC10 分
  • 配对术语10 分
  • 为什么校准重要15 分
0/ 已答 8 题
任务
1数值作答10 分未作答

预测名次为 1,3,2,5,41,3,2,5,41,3,2,5,4,收益名次为 1,4,2,5,31,4,2,5,31,4,2,5,3。名次差平方和 ∑di2\sum d_i^{2}∑di2​ 是多少?

s=s =s=允许误差:± 0.01
2数值作答15 分未作答

n=5n=5n=5 只股票、∑di2=2\sum d_i^{2}=2∑di2​=2 时,ρ=1−6∑di2/(n(n2−1))\rho=1-6\sum d_i^{2}/(n(n^{2}-1))ρ=1−6∑di2​/(n(n2−1)) 是多少?保留两位小数。

r=r =r=允许误差:± 0.01
3数值作答15 分未作答

在 m=257m=257m=257 个月里,平均 IC 为 0.03260.03260.0326,标准差为 0.210.210.21。t=IC‾/(s/m)t=\overline{\mathrm{IC}}/(s/\sqrt{m})t=IC/(s/m​) 是多少?取 257=16.03\sqrt{257}=16.03257​=16.03,保留两位小数。

t=t =t=允许误差:± 0.03
4数值作答15 分未作答

概率为 0.8,0.6,0.30.8,0.6,0.30.8,0.6,0.3,结果为 1,0,01,0,01,0,0。Brier 得分 13∑(pi−yi)2\frac13\sum(p_i-y_i)^{2}31​∑(pi​−yi​)2 是多少?保留三位小数。

b=b =b=允许误差:± 0.002
5数值作答10 分未作答

平均 IC 为 0.03260.03260.0326,545454 只股票每年交易 121212 次,基本定律给出 IR≈IC54×12\mathrm{IR}\approx\mathrm{IC}\sqrt{54\times12}IR≈IC54×12​。它是多少?取 648=25.46\sqrt{648}=25.46648​=25.46,保留两位小数。

ir=ir =ir=允许误差:± 0.02
6选择10 分未作答

一个模型的平均 IC 为 0.0330.0330.033(t=2.5t=2.5t=2.5),但命中率只有 50.7%50.7\%50.7%。哪个说法正确?

7配对10 分未作答

把每个得分与其度量的内容配对。

为左侧每一项选择配对项。

信息系数
命中率
Brier 得分
校准
8用文字解释15 分未作答

一个模型把股票排得很好,但在真实概率为 55%55\%55% 时却说 90%90\%90%。用一两句话解释:这对交易为什么仍然重要。

数学模式键盘或 LaTeX 输入第 1/8 题 · Ctrl ⏎ 检查

登录后即可运行你的代码。

所有讲解均可免费阅读。创建账户或登录后,即可运行代码、运行测试并提交此实验。

  • 浏览器内 IDE 与 bash 终端,无需安装
  • 即时评分、XP 以及你在学习路线中的位置
创建账户登录
或
使用 GitHub 继续