Singulärwertzerlegung

Jede Matrix ist eine Drehung, eine Streckung und eine Drehung

Die Eigenzerlegung braucht eine quadratische Matrix und kann selbst dann scheitern. Die Singulärwertzerlegung funktioniert für jede Matrix, rechteckig oder nicht: $A=U\Sigma V^{T}$ mit orthogonalen $U$ und $V$ und diagonalem $\Sigma$ mit nichtnegativen Einträgen $\sigma_1\ge\sigma_2\ge\cdots\ge0$, den Singulärwerten. Geometrisch dreht $A$ zuerst mit $V^{T}$, streckt dann jede Achse $i$ um $\sigma_i$ und dreht schließlich mit $U$. Ein Einheitskreis wird zu einer Ellipse, deren Halbachsen die Singulärwerte sind.

Die Spalten von $V$ sind die Eigenvektoren von $A^{T}A$ und die Spalten von $U$ die von $AA^{T}$, mit den Eigenwerten $\sigma_i^2$. Die SVD ist also der Spektralsatz für $A^{T}A$, aber berechnet, ohne dieses Produkt je zu bilden, denn das würde die Konditionszahl quadrieren und die Hälfte der Stellen kosten. Fakten lassen sich leicht ablesen: Der Rang ist die Zahl der Singulärwerte ungleich null, $\lVert A\rVert_2=\sigma_1$ ist die größte Streckung, die quadrierte Frobenius-Norm ist die Summe der quadrierten Singulärwerte, $|\det A|=\prod\sigma_i$ bei quadratischen Matrizen, und die Konditionszahl $\sigma_1/\sigma_{\min}$ misst, wie stark $A$ Fehler verstärken kann. Bei einer $m\times n$-Datenmatrix mit $m\ge n$ ist das volle $U$ eine $m\times m$-, $\Sigma$ eine $m\times n$- und $V$ eine $n\times n$-Matrix.

• SVD: Jede Matrix ist $U\Sigma V^{T}$ mit orthogonalen $U$, $V$ und sortierten nichtnegativen Singulärwerten.
• Fakten: Der Rang ist die Zahl der $\sigma_i\neq0$, $\lVert A\rVert_F^2=\sum\sigma_i^2$, $|\det A|=\prod\sigma_i$.
• Konditionszahl: $\sigma_1/\sigma_{\min}$; ein großer Wert bedeutet instabile Lösungen und unzuverlässige Inverse.

Lab: Was bewertet wird

• Der größte Singulärwert20 Pkt.
• Die Frobenius-Identität10 Pkt.
• Das Produkt der Singulärwerte10 Pkt.
• Formate einer vollen SVD15 Pkt.
• Singulärwerte und Eigenwerte15 Pkt.
• Eine Konditionszahl15 Pkt.
• Warum nicht AᵀA zerlegen15 Pkt.