为什么对称矩阵最好用 一般矩阵可能有复特征值,特征向量也不一定垂直,而实对称矩阵 A = A T A=A^{T} A = A T 不会。谱定理说:这样的 A A A 只有实特征值,不同特征值的特征向量彼此正交,并且可以选出由特征向量构成的标准正交基。把它们作为 Q Q Q 的列,就得到 A = Q Λ Q T A=Q\Lambda Q^{T} A = Q Λ Q T ,其中 Q T Q = I Q^{T}Q=I Q T Q = I ,Λ \Lambda Λ 为对角阵。每个协方差矩阵都是对称的,所以这个定理就是主成分分析可行的原因。
A = A T ⟹ A = Q Λ Q T = ∑ i λ i q i q i T , A k = Q Λ k Q T , w T A w ≥ λ min ∥ w ∥ 2 A=A^{T}\;\Longrightarrow\;A=Q\Lambda Q^{T}=\sum_i\lambda_i\,\mathbf q_i\mathbf q_i^{T},\qquad A^{k}=Q\Lambda^{k}Q^{T},\qquad \mathbf w^{T}A\mathbf w\ge\lambda_{\min}\lVert\mathbf w\rVert^{2} A = A T ⟹ A = Q Λ Q T = i ∑ λ i q i q i T , A k = Q Λ k Q T , w T A w ≥ λ m i n ∥ w ∥ 2 (1) 和的形式把 A A A 写成一叠简单的秩一部分,每一部分拉伸一个正交方向。它让幂运算变得很简单:A k = Q Λ k Q T A^{k}=Q\Lambda^{k}Q^{T} A k = Q Λ k Q T ,A A A 的任何函数都只作用在特征值上。对称矩阵半正定(对所有 w \mathbf w w 有 w T A w ≥ 0 \mathbf w^{T}A\mathbf w\ge0 w T A w ≥ 0 )当且仅当所有特征值非负,全部严格为正时则正定。对协方差矩阵 Σ \Sigma Σ ,二次型 w T Σ w \mathbf w^{T}\Sigma\mathbf w w T Σ w 就是权重为 w \mathbf w w 的投资组合的方差,所以永远不会为负,并且至少是 λ min \lambda_{\min} λ m i n 乘以 w \mathbf w w 的长度平方。
对 2×2 矩阵做对角化 取
A = ( 2 1 1 2 ) A=\begin{pmatrix}2&1\\1&2\end{pmatrix} A = ( 2 1 1 2 ) 。其特征值为 3 和 1,特征向量为
( 1 , 1 ) (1,1) ( 1 , 1 ) 和
( 1 , − 1 ) (1,-1) ( 1 , − 1 ) ,点积为
1 − 1 = 0 1-1=0 1 − 1 = 0 ,所以二者正交。归一化后它们是
Q = 1 2 ( 1 1 1 − 1 ) Q=\frac1{\sqrt2}\begin{pmatrix}1&1\\1&-1\end{pmatrix} Q = 2 1 ( 1 1 1 − 1 ) 的列,各自的第一个分量都是
1 / 2 ≈ 0.707 1/\sqrt2\approx0.707 1/ 2 ≈ 0.707 。于是
A 3 = Q d i a g ( 27 , 1 ) Q T = 1 2 ( 28 26 26 28 ) = ( 14 13 13 14 ) A^{3}=Q\,\mathrm{diag}(27,1)\,Q^{T}=\frac12\begin{pmatrix}28&26\\26&28\end{pmatrix}=\begin{pmatrix}14&13\\13&14\end{pmatrix} A 3 = Q diag ( 27 , 1 ) Q T = 2 1 ( 28 26 26 28 ) = ( 14 13 13 14 ) ,无需把
A A A 乘三次。两个特征值都为正,所以
A A A 正定,可以是协方差矩阵。
谱定理 :实对称矩阵 A A A 有实特征值和标准正交特征向量,A = Q Λ Q T A=Q\Lambda Q^{T} A = Q Λ Q T 。定性 :半正定指所有特征值 ≥ 0 \ge0 ≥ 0 ,正定指全部 > 0 >0 > 0 。幂与函数 :A k = Q Λ k Q T A^{k}=Q\Lambda^{k}Q^{T} A k = Q Λ k Q T ;任何函数只作用于特征值。协方差矩阵必须通过这个检验 手工拼装或由不同样本上的两两估计拼成的矩阵,可能是对称的却仍有负特征值。这就等于声称某个组合的方差为负,而优化器会乐于利用这一点。检查对称矩阵的最小特征值是否非负(对舍入留一点容差)是标准检验,截掉负特征值是标准修复。
实验:评分内容 关于对称矩阵的事实 15 分 较大的特征值 15 分 单位特征向量 10 分 通过特征分解求幂 20 分 有效的协方差矩阵 15 分 组合方差的下界 15 分 为什么主成分分析可行 10 分