每个矩阵都是旋转、拉伸再旋转 特征分解需要方阵，即使是方阵也可能失败。奇异值分解对任何矩阵（无论是否为长方形）都适用：A = U Σ V T A=U\Sigma V^{T} A = U Σ V T U U U V V V Σ \Sigma Σ σ 1 ≥ σ 2 ≥ ⋯ ≥ 0 \sigma_1\ge\sigma_2\ge\cdots\ge0 σ 1 ≥ σ 2 ≥ ⋯ ≥ 0 A A A V T V^{T} V T i i i σ i \sigma_i σ i U U U
A = U Σ V T , σ i = λ i ( A T A ) , ∥ A ∥ F 2 = ∑ i σ i 2 , κ ( A ) = σ 1 σ min A=U\Sigma V^{T},\qquad \sigma_i=\sqrt{\lambda_i(A^{T}A)},\qquad \lVert A\rVert_F^{2}=\sum_i\sigma_i^{2},\qquad \kappa(A)=\frac{\sigma_1}{\sigma_{\min}} A = U Σ V T , σ i = λ i ( A T A ) , ∥ A ∥ F 2 = i ∑ σ i 2 , κ ( A ) = σ m i n σ 1 (1) V V V A T A A^{T}A A T A U U U A A T AA^{T} A A T σ i 2 \sigma_i^2 σ i 2 A T A A^{T}A A T A ∥ A ∥ 2 = σ 1 \lVert A\rVert_2=\sigma_1 ∥ A ∥ 2 = σ 1 ∣ det A ∣ = ∏ σ i |\det A|=\prod\sigma_i ∣ det A ∣ = ∏ σ i σ 1 / σ min \sigma_1/\sigma_{\min} σ 1 / σ m i n A A A m ≥ n m\ge n m ≥ n m × n m\times n m × n U U U m × m m\times m m × m Σ \Sigma Σ m × n m\times n m × n V V V n × n n\times n n × n
2×2 的例子 取
A = ( 3 0 4 5 ) A=\begin{pmatrix}3&0\\4&5\end{pmatrix} A = ( 3 4 0 5 ) 。
A T A = ( 25 20 20 25 ) A^{T}A=\begin{pmatrix}25&20\\20&25\end{pmatrix} A T A = ( 25 20 20 25 ) 的特征值为 45 和 5，所以奇异值为
σ 1 = 45 ≈ 6.708 \sigma_1=\sqrt{45}\approx6.708 σ 1 = 45 ≈ 6.708 ，
σ 2 = 5 ≈ 2.236 \sigma_2=\sqrt5\approx2.236 σ 2 = 5 ≈ 2.236 。校验：
σ 1 2 + σ 2 2 = 50 = 9 + 16 + 25 = ∥ A ∥ F 2 \sigma_1^2+\sigma_2^2=50=9+16+25=\lVert A\rVert_F^2 σ 1 2 + σ 2 2 = 50 = 9 + 16 + 25 = ∥ A ∥ F 2 ，
σ 1 σ 2 = 15 = ∣ det A ∣ \sigma_1\sigma_2=15=|\det A| σ 1 σ 2 = 15 = ∣ det A ∣ 。条件数为
σ 1 / σ 2 = 3 \sigma_1/\sigma_2=3 σ 1 / σ 2 = 3 。若
σ 2 \sigma_2 σ 2 是
0.001 0.001 0.001 ，条件数约为 6700，解
A x = b A\mathbf x=\mathbf b A x = b 会损失近四位有效数字。
SVD ：每个矩阵都能写成 U Σ V T U\Sigma V^{T} U Σ V T U U U V V V 事实 ：秩等于非零 σ i \sigma_i σ i ∥ A ∥ F 2 = ∑ σ i 2 \lVert A\rVert_F^2=\sum\sigma_i^2 ∥ A ∥ F 2 = ∑ σ i 2 ∣ det A ∣ = ∏ σ i |\det A|=\prod\sigma_i ∣ det A ∣ = ∏ σ i 条件数 ：σ 1 / σ min \sigma_1/\sigma_{\min} σ 1 / σ m i n 从收益率到成分只需一次调用 若 X X X T × N T\times N T × N X T X / ( T − 1 ) X^{T}X/(T-1) X T X / ( T − 1 ) X X X σ i 2 / ( T − 1 ) \sigma_i^2/(T-1) σ i 2 / ( T − 1 ) X X X N > T N>T N > T 实验：评分内容 最大奇异值 20 分 Frobenius 恒等式 10 分 奇异值之积 10 分 完整 SVD 的尺寸 15 分 奇异值与特征值 15 分 条件数 15 分 为什么不对 AᵀA 做特征分解 15 分 
