σμimplied vol · KKmax(S−K,0)udβρᵢⱼfat tailsPnL · drawdownyield · TdSₜ = μSₜ dt + σSₜ dWₜC = S·N(d₁) − K·e⁻ʳᵀ·N(d₂)σₚ² = wᵀΣwd₁ = [ln(S/K) + (r + σ²⁄2)T] ⁄ σ√T∂V/∂t + ½σ²S²·∂²V/∂S² + rS·∂V/∂S − rV = 0Sharpe = (Rₚ − R_f) ⁄ σₚVaR₉₉ = μ − 2.33σρ = Cov(X,Y) ⁄ σₓσᵧE[Rₚ] = Σ wᵢ·E[Rᵢ]φ(x) = e^(−x²/2) ⁄ √2πE[Rᵢ] = R_f + βᵢ(E[Rₘ] − R_f)dXₜ = θ(μ − Xₜ)dt + σ dWₜσ²ₜ = ω + α·ε²ₜ₋₁ + β·σ²ₜ₋₁C − P = S − K·e⁻ʳᵀΔ = ∂V/∂S Γ = ∂²V/∂S²p = (e^(rΔt) − d) ⁄ (u − d)rₜ = ln(Pₜ ⁄ Pₜ₋₁)E[Xₜ₊₁ | ℱₜ] = Xₜf* = (bp − q) ⁄ bz = (x − μ) ⁄ σP(N=k) = λᵏe^(−λ) ⁄ k!Θ = −∂V/∂Tν = S·φ(d₁)·√Tmin wᵀΣw s.t. wᵀμ = μ*∫Σ∂∞λ
uantCraft Academy路线图学习路线
Ctrl K
AO
+1.2k 位学习者
登录加入 ↗
路线图学习路线
AO
+1.2k 位学习者
登录
  • English
  • Français
  • Español
  • العربية
  • Português
  • Deutsch
  • 日本語
  • 中文
σμimplied vol · KKmax(S−K,0)udβρᵢⱼfat tailsPnL · drawdownyield · TdSₜ = μSₜ dt + σSₜ dWₜC = S·N(d₁) − K·e⁻ʳᵀ·N(d₂)σₚ² = wᵀΣwd₁ = [ln(S/K) + (r + σ²⁄2)T] ⁄ σ√T∂V/∂t + ½σ²S²·∂²V/∂S² + rS·∂V/∂S − rV = 0Sharpe = (Rₚ − R_f) ⁄ σₚVaR₉₉ = μ − 2.33σρ = Cov(X,Y) ⁄ σₓσᵧE[Rₚ] = Σ wᵢ·E[Rᵢ]φ(x) = e^(−x²/2) ⁄ √2πE[Rᵢ] = R_f + βᵢ(E[Rₘ] − R_f)dXₜ = θ(μ − Xₜ)dt + σ dWₜσ²ₜ = ω + α·ε²ₜ₋₁ + β·σ²ₜ₋₁C − P = S − K·e⁻ʳᵀΔ = ∂V/∂S Γ = ∂²V/∂S²p = (e^(rΔt) − d) ⁄ (u − d)rₜ = ln(Pₜ ⁄ Pₜ₋₁)E[Xₜ₊₁ | ℱₜ] = Xₜf* = (bp − q) ⁄ bz = (x − μ) ⁄ σP(N=k) = λᵏe^(−λ) ⁄ k!Θ = −∂V/∂Tν = S·φ(d₁)·√Tmin wᵀΣw s.t. wᵀμ = μ*∫Σ∂∞λ
uantCraft Academy路线图学习路线
Ctrl K
AO
+1.2k 位学习者
登录加入 ↗
路线图学习路线
AO
+1.2k 位学习者
登录
  • English
  • Français
  • Español
  • العربية
  • Português
  • Deutsch
  • 日本語
  • 中文
Matrix Decompositions 学习路线›模块 4 · 协方差估计›主题 4.1·~55分钟高级

样本协方差及其噪声

路线进度模块 4/5 · 主题 1/3
4.1 样本协方差及其噪声
—实验得分— / 100总 XP—连续天数—

无偏却仍然不对的估计

样本协方差矩阵 S=1T−1XcTXcS=\frac1{T-1}X_c^{T}X_cS=T−11​XcT​Xc​ 是无偏的:在许多样本上平均,它等于真实的 Σ\SigmaΣ。这听起来令人放心,实则有误导性。NNN 个资产的组合有 N(N+1)/2N(N+1)/2N(N+1)/2 个协方差参数,N=100N=100N=100 时是 5050 个,却只用 NNN 个收益的 TTT 次观测来估计。当 NNN 相对 TTT 不算小时,每个元素都有噪声,更糟的是 SSS 的特征值被系统性地拉开:大的偏大,小的偏小,即使真实矩阵的特征值全都相等。

q=NT,λ±=σ2(1±q)2,VrealVprom≈1(1−q)2q=\frac{N}{T},\qquad \lambda_{\pm}=\sigma^{2}\big(1\pm\sqrt{q}\big)^{2},\qquad \frac{V_{\mathrm{real}}}{V_{\mathrm{prom}}}\approx\frac{1}{(1-q)^{2}}q=TN​,λ±​=σ2(1±q​)2,Vprom​Vreal​​≈(1−q)21​(1)

若真实协方差是单位矩阵(σ2=1\sigma^2=1σ2=1,特征值全为 1)且 N,TN,TN,T 很大,则 SSS 的特征值会铺满第一个公式中的区间 [λ−,λ+][\lambda_-,\lambda_+][λ−​,λ+​],即 Marchenko-Pastur 边界。q=0.25q=0.25q=0.25 时是 [0.25, 2.25][0.25,\,2.25][0.25,2.25],出现了九比一的分散,而真实情形并无此分散。当 N>T−1N>T-1N>T−1 时,SSS 的秩至多为 T−1T-1T−1,因此奇异,存在零特征值。最小方差优化器是最大的受害者:它会把权重堆到 SSS 显示方差最小的方向上,而这恰是 SSS 最低估风险的方向。在 Σ=I\Sigma=IΣ=I 的模拟中,样本最小方差组合的实现方差约为其样本内承诺方差的 1/(1−q)21/(1-q)^21/(1−q)2 倍,约为真实最小值的 1/(1−q)1/(1-q)1/(1−q) 倍。

五百只股票、两年用两年日度数据(T=504T=504T=504)估计 N=500N=500N=500 只股票的协方差。此时 q=500/504≈0.99q=500/504\approx0.99q=500/504≈0.99,真实矩阵为单位阵时的 Marchenko-Pastur 边界是 λ−=(1−0.996)2≈0.00002\lambda_-=(1-0.996)^2\approx0.00002λ−​=(1−0.996)2≈0.00002 和 λ+=(1+0.996)2≈3.98\lambda_+=(1+0.996)^2\approx3.98λ+​=(1+0.996)2≈3.98:最小特征值基本为零,SSS 几乎奇异,其逆矩阵被噪声主导。该矩阵有 500×501/2=125250500\times501/2=125250500×501/2=125250 个不同元素,背后却只有 504×500504\times500504×500 个数。相比之下,综合项目里 12 只股票有 4184 天,q=0.003q=0.003q=0.003,边界约为 0.890.890.89 和 1.111.111.11,噪声问题很小。
  • 无偏但有噪声:E[S]=ΣE[S]=\SigmaE[S]=Σ,但 q=N/Tq=N/Tq=N/T 大时 SSS 的特征值被拉开。
  • 边界:真实矩阵为单位阵时,样本特征值落在 [(1−q)2,(1+q)2][(1-\sqrt q)^2,(1+\sqrt q)^2][(1−q​)2,(1+q​)2]。
  • 秩:N>T−1N>T-1N>T−1 时样本协方差奇异;优化器会利用它最小的特征值。
优化器是误差最大化器组合优化器把协方差矩阵当作真理,集中押在矩阵认为风险最便宜的地方。因此估计误差不会被平均掉,而是被挑选出来。后面几课的补救办法都是收缩或清理特征值,因为损害就在那里;而评价它们只有一种诚实的方式:看组合在估计器从未见过的数据上的方差。

实验:评分内容

  • 上边界15 分
  • 下边界10 分
  • 数参数个数10 分
  • 最大秩10 分
  • 实现方差与承诺方差15 分
  • 为什么优化器放大噪声20 分
  • 降低噪声20 分
0/ 已答 7 题
任务
1数值作答15 分未作答

真实协方差为单位阵且 q = N/T = 0.25 时,Marchenko-Pastur 上边界 (1+q)2(1+\sqrt q)^2(1+q​)2 是多少?

lambda+=lambda_+ =lambda+​=允许误差:± 0.01
2数值作答10 分未作答

对同样的 q = 0.25,下边界 (1−q)2(1-\sqrt q)^2(1−q​)2 是多少?

lambda−=lambda_- =lambda−​=允许误差:± 0.005
3数值作答10 分未作答

N = 100 个资产的协方差矩阵有多少个不同元素,N(N+1)/2N(N+1)/2N(N+1)/2?

entries=entries =entries=允许误差:± 0.5
4数值作答10 分未作答

用 T = 30 个日度观测构造 N = 50 个资产的样本协方差矩阵。可能的最大秩 T−1T-1T−1 是多少?

rank=rank =rank=允许误差:± 0.01
5数值作答15 分未作答

真实协方差为单位阵且 q = 0.2 时,样本最小方差组合的实现方差约为样本内承诺方差的 1/(1−q)21/(1-q)^21/(1−q)2 倍。这个系数是多少?保留两位小数。

factor=factor =factor=允许误差:± 0.01
6选择20 分未作答

为什么最小方差优化器在有噪声的样本协方差矩阵上表现这么差?

7用文字解释20 分未作答

用一两句话说出两种降低样本协方差矩阵噪声的方法。

数学模式键盘或 LaTeX 输入第 1/7 题 · Ctrl ⏎ 检查

登录后即可运行你的代码。

所有讲解均可免费阅读。创建账户或登录后,即可运行代码、运行测试并提交此实验。

  • 浏览器内 IDE 与 bash 终端,无需安装
  • 即时评分、XP 以及你在学习路线中的位置
创建账户登录
或
使用 GitHub 继续