找到方差最大的方向
主成分分析寻找数据云变化最大的那个方向,再找与之垂直的下一个方向,依此类推。N 个资产的收益数据云处在 N 维空间,很难直接观察,但它的主方向能给独立的风险来源排序。做法很简短:对每一列去均值,构造协方差矩阵,取其特征向量并按特征值排序,把数据投影到前几个特征向量上。
Σ=T−11XcTXc=QΛQT,Z=XcQ,Var(zj)=λj,sj=∑iλiλj(1) 这里 Xc 是去均值后的 T×N 收益矩阵,Q 的列是主方向(载荷),Z 的列是得分,即新坐标下的数据。各得分互不相关,第 j 个的方差为 λj,所以特征值恰好分摊总方差 trΣ。方向的符号是任意的:q 与 −q 是同一条直线。有两点要注意。去均值很重要,否则第一方向会部分指向均值。单位也重要:协方差矩阵的主成分分析被波动最大的变量主导,所以当变量尺度不同时要先标准化,也就是改用相关矩阵。
手算两个资产两个资产的协方差矩阵为
Σ=(4223)。迹为 7,行列式为 8,所以
λ2−7λ+8=0,
λ=(7±17)/2,即
5.562 和
1.438。第一主成分因此解释了总方差的
5.562/7=79.5%。其方向满足
(4−5.562)q1+2q2=0,在不计符号时为
q1≈(0.788,0.615)。去均值后的观测值
(1,1) 的第一得分绝对值为
0.788+0.615=1.403。两个载荷同号,所以该成分是两个资产的加权平均。
- 做法:去均值、协方差、特征分解、按特征值排序、投影到前几个方向。
- 得分:互不相关,方差为 λj;解释占比为 λj/∑λi。
- 注意:符号任意;先去均值;单位不同要标准化(相关矩阵)。
真实股票收益说明了什么对 2010 年以来 12 只美国大盘股的日收益率(4184 天),相关矩阵的第一主成分解释了约 40% 的方差,且每只股票在其上的载荷同号:这就是市场。第二主成分解释约 12%,把股票分成几组,如科技股对防御股。其余十个分享剩下的 48%,且很难与噪声区分,这正是后面几课的主题。
实验:评分内容
- PCA 的做法15 分
- 第一特征值15 分
- 解释占比15 分
- 得分15 分
- 何时标准化15 分
- 关于得分的事实10 分
- 为什么要去均值15 分