特征值截断与 Marchenko-Pastur

区分信号特征值与噪声

即使收益率是毫无结构的纯噪声，其相关矩阵的特征值仍会散布在一个已知区间内，即 Marchenko-Pastur 区间 $[\lambda_-,\lambda_+]$ ，其中 $\lambda_\pm=(1\pm\sqrt q)^2$ ， $q=N/T$ 。这个区间就是一把尺子。样本相关矩阵中超过 $\lambda_+$ 的特征值大于噪声所能解释的程度，因此反映了真实的共同因子。区间内的特征值与噪声无法区分：它们的特征向量是随机方向，对未来没有任何信息。

\lambda_i'=\begin{cases}\lambda_i,&\lambda_i>\lambda_+\\[2pt]\bar\lambda_{\mathrm{noise}},&\lambda_i\le\lambda_+\end{cases},\qquad \bar\lambda_{\mathrm{noise}}=\frac{1}{k}\sum_{\lambda_i\le\lambda_+}\lambda_i,\qquad C_{\mathrm{clean}}=Q\Lambda'Q^{T}

(1)

特征值截断就依据这一判断来操作：保留超过 $\lambda_+$ 的特征值，把其余的全部换成它们自己的平均值 $\bar\lambda_{\mathrm{noise}}$ ，相当于把谱中噪声部分压平。取平均而不是置零，可以保持迹不变（相关矩阵的迹为 $N$ ），并保持矩阵正定从而可逆，这是优化器所需要的。然后重建 $C_{\mathrm{clean}}=Q\Lambda'Q^{T}$ ，并重新缩放使对角线恰为 1，因为替换会稍微改变对角线。常见的改进有两个。市场模式会吸收方差，因此噪声水平实际是 $\sigma^2\approx1-\lambda_1/N$ 而不是 1。另外 Marchenko-Pastur 定律假设观测独立且尾部较薄，所以边界只是参考而非精确检验；清理后的矩阵要在样本外检验。

四个资产、十六个观测设

N=4

，

T=16

，则

q=0.25

，

\lambda_+=(1+0.5)^2=2.25

。样本相关矩阵的特征值为

2.60,\;0.80,\;0.40,\;0.20

（和为

N=4

）。只有

2.60

超过

2.25

：一个信号特征值，即共同的市场因子。其余三个是噪声，平均值为

(0.80+0.40+0.20)/3=0.4667

。清理后的谱为

2.60,\;0.4667,\;0.4667,\;0.4667

，和仍为 4，最小特征值从

0.20

升到

0.47

，条件数从

13

降到约

5.6

。对更大的问题，若

q=0.4

，上边界为

(1+\sqrt{0.4})^2=2.665

。

边界：超过 $(1+\sqrt q)^2$ 的特征值是信号，区间内的是噪声。
截断：把噪声特征值换成它们的平均值，保持迹和正定性。
收尾：重建 $Q\Lambda'Q^{T}$ 并把对角线缩放为 1；始终要做样本外验证。

是参考而非裁决真实收益率有厚尾且波动率随时间变化，这会让噪声特征值越过理论边界。把

\lambda_+

当作保留多少个成分的合理起始阈值，由样本外检验来判定清理是否真的有帮助。综合项目做的正是这件事。

实验：评分内容

上边界15 分
数信号特征值10 分
替换值15 分
迹保持不变10 分
截断算法15 分
为什么用平均值15 分
超过边界的特征值意味着什么20 分

区分信号特征值与噪声

\lambda_i'=\begin{cases}\lambda_i,&\lambda_i>\lambda_+\\[2pt]\bar\lambda_{\mathrm{noise}},&\lambda_i\le\lambda_+\end{cases},\qquad \bar\lambda_{\mathrm{noise}}=\frac{1}{k}\sum_{\lambda_i\le\lambda_+}\lambda_i,\qquad C_{\mathrm{clean}}=Q\Lambda'Q^{T}

(1)

四个资产、十六个观测设

N=4

，

T=16

，则

q=0.25

，

\lambda_+=(1+0.5)^2=2.25

。样本相关矩阵的特征值为

2.60,\;0.80,\;0.40,\;0.20

（和为

N=4

）。只有

2.60

超过

2.25

：一个信号特征值，即共同的市场因子。其余三个是噪声，平均值为

(0.80+0.40+0.20)/3=0.4667

。清理后的谱为

2.60,\;0.4667,\;0.4667,\;0.4667

，和仍为 4，最小特征值从

0.20

升到

0.47

，条件数从

13

降到约

5.6

。对更大的问题，若

q=0.4

，上边界为

(1+\sqrt{0.4})^2=2.665

。

边界：超过 $(1+\sqrt q)^2$ 的特征值是信号，区间内的是噪声。
截断：把噪声特征值换成它们的平均值，保持迹和正定性。
收尾：重建 $Q\Lambda'Q^{T}$ 并把对角线缩放为 1；始终要做样本外验证。

是参考而非裁决真实收益率有厚尾且波动率随时间变化，这会让噪声特征值越过理论边界。把

\lambda_+

当作保留多少个成分的合理起始阈值，由样本外检验来判定清理是否真的有帮助。综合项目做的正是这件事。

实验：评分内容

上边界15 分
数信号特征值10 分
替换值15 分
迹保持不变10 分
截断算法15 分
为什么用平均值15 分
超过边界的特征值意味着什么20 分

特征值截断与 Marchenko-Pastur

区分信号特征值与噪声

实验：评分内容

登录后即可运行你的代码。

特征值截断与 Marchenko-Pastur

区分信号特征值与噪声

实验：评分内容

登录后即可运行你的代码。