Décomposition en valeurs singulières

Toute matrice est une rotation, un étirement et une rotation

La décomposition en valeurs propres exige une matrice carrée, et même alors elle peut échouer. La décomposition en valeurs singulières marche pour toute matrice, rectangulaire ou non : $A=U\Sigma V^{T}$ avec $U$ et $V$ orthogonales et $\Sigma$ diagonale à coefficients positifs ou nuls $\sigma_1\ge\sigma_2\ge\cdots\ge0$, les valeurs singulières. Géométriquement, $A$ commence par tourner avec $V^{T}$, étire ensuite chaque axe $i$ du facteur $\sigma_i$, puis tourne avec $U$. Un cercle unité devient une ellipse dont les demi-axes sont les valeurs singulières.

Les colonnes de $V$ sont les vecteurs propres de $A^{T}A$ et celles de $U$ les vecteurs propres de $AA^{T}$, de valeurs propres $\sigma_i^2$. La SVD est donc le théorème spectral appliqué à $A^{T}A$, mais calculée sans jamais former ce produit, qui élèverait au carré le conditionnement et ferait perdre la moitié des chiffres. Lire les faits est facile : le rang est le nombre de valeurs singulières non nulles, $\lVert A\rVert_2=\sigma_1$ est le plus grand étirement, la norme de Frobenius au carré est la somme des carrés des valeurs singulières, $|\det A|=\prod\sigma_i$ pour une matrice carrée, et le conditionnement $\sigma_1/\sigma_{\min}$ mesure combien $A$ peut amplifier les erreurs. Pour une matrice de données $m\times n$ avec $m\ge n$, la $U$ complète est $m\times m$, $\Sigma$ est $m\times n$ et $V$ est $n\times n$.

• SVD : toute matrice vaut $U\Sigma V^{T}$ avec $U$, $V$ orthogonales et des valeurs singulières positives triées.
• Faits : le rang est le nombre de $\sigma_i$ non nuls, $\lVert A\rVert_F^2=\sum\sigma_i^2$, $|\det A|=\prod\sigma_i$.
• Conditionnement : $\sigma_1/\sigma_{\min}$ ; une valeur élevée signifie des résolutions instables et des inverses peu fiables.

Lab : ce qui est noté

• La plus grande valeur singulière20 pts
• L'identité de Frobenius10 pts
• Le produit des valeurs singulières10 pts
• Dimensions d'une SVD complète15 pts
• Valeurs singulières et valeurs propres15 pts
• Un conditionnement15 pts
• Pourquoi ne pas décomposer AᵀA15 pts