特異値分解

どの行列も回転・伸縮・回転の合成

固有分解は正方行列が必要で、それでも失敗することがあります。特異値分解はどんな行列（長方形でも）にも使えます。$A=U\Sigma V^{T}$ で、$U$ と $V$ は直交行列、$\Sigma$ は非負の対角成分 $\sigma_1\ge\sigma_2\ge\cdots\ge0$（特異値）を持つ対角行列です。幾何学的には、$A$ はまず $V^{T}$ で回転し、各軸 $i$ を $\sigma_i$ 倍し、最後に $U$ で回転します。単位円は、特異値を半軸とする楕円になります。

$V$ の列は $A^{T}A$ の固有ベクトル、$U$ の列は $AA^{T}$ の固有ベクトルで、固有値は $\sigma_i^2$ です。つまりSVDは $A^{T}A$ に対するスペクトル定理ですが、その積を実際に作らずに計算します。積を作ると条件数が2乗になり、桁の半分を失うからです。事実は簡単に読み取れます。ランクは非零の特異値の個数、$\lVert A\rVert_2=\sigma_1$ は最大の伸び、フロベニウスノルムの2乗は特異値の2乗和、正方行列では $|\det A|=\prod\sigma_i$、条件数 $\sigma_1/\sigma_{\min}$ は $A$ が誤差をどれだけ増幅しうるかを表します。$m\ge n$ の $m\times n$ データ行列では、完全な $U$ は $m\times m$、$\Sigma$ は $m\times n$、$V$ は $n\times n$ です。

• SVD：どの行列も直交行列 $U$, $V$ と非負で降順の特異値により $U\Sigma V^{T}$ と書ける。
• 事実：ランクは非零の $\sigma_i$ の個数、$\lVert A\rVert_F^2=\sum\sigma_i^2$、$|\det A|=\prod\sigma_i$。
• 条件数：$\sigma_1/\sigma_{\min}$。大きいと解が不安定で逆行列も信頼できない。

ラボ：採点される内容

• 最大の特異値20点
• フロベニウスの恒等式10点
• 特異値の積10点
• 完全SVDのサイズ15点
• 特異値と固有値15点
• 条件数15点
• なぜAᵀAを固有分解しないのか15点