Moindres carrés et équations normales

Position dans le parcoursModule 4 sur 4 · Sujet 1 sur 4

4.1 Moindres carrés et équations normales

—Score du lab— / 100XP total—Série—

Plus d'équations que d'inconnues

Une régression a beaucoup d'observations et peu de coefficients : $A\mathbf{x}=\mathbf{b}$ avec $A$ haute ( $n$ lignes, $p$ colonnes, $n>p$ ) n'a pas de solution exacte, car $\mathbf{b}$ n'est presque jamais dans l'espace des colonnes. Les moindres carrés choisissent le $\hat{\mathbf{x}}$ qui rend l'erreur la plus petite possible, $\min_{\mathbf{x}}\|A\mathbf{x}-\mathbf{b}\|^2$ . Géométriquement, $A\hat{\mathbf{x}}$ est la projection de $\mathbf{b}$ sur l'espace des colonnes, donc le résidu $\mathbf{b}-A\hat{\mathbf{x}}$ est orthogonal à chaque colonne de $A$ .

A^{T}A\,\hat{\mathbf{x}}=A^{T}\mathbf{b},\qquad \hat{\mathbf{x}}=(A^{T}A)^{-1}A^{T}\mathbf{b},\qquad \hat{\mathbf{b}}=A\hat{\mathbf{x}}

(1)

L'orthogonalité du résidu, $A^{T}(\mathbf{b}-A\hat{\mathbf{x}})=\mathbf{0}$ , se réarrange en équations normales ci-dessus. Elles ont toujours une solution, unique quand les colonnes de $A$ sont indépendantes (alors $A^{T}A$ est inversible). En notation de régression, $A=X$ contient les régresseurs, avec une première colonne de uns pour la constante, $\mathbf{b}=\mathbf{y}$ est la réponse et $\hat{\boldsymbol\beta}=(X^{T}X)^{-1}X^{T}\mathbf{y}$ sont les coefficients MCO. En code, on résout toujours le système au lieu d'inverser $X^{T}X$ .

Ajuster une droite à trois pointsAjustons

y=c_0+c_1t

aux points

(0,1)

(1,2)

(2,2)

. Alors

A=\begin{pmatrix}1&0\\1&1\\1&2\end{pmatrix}

\mathbf{b}=(1,2,2)

, donc

A^{T}A=\begin{pmatrix}3&3\\3&5\end{pmatrix}

A^{T}\mathbf{b}=(5,6)

. Les équations normales

3c_0+3c_1=5

3c_0+5c_1=6

donnent

c_1=0{,}5

c_0=7/6\approx1{,}167

. Les valeurs ajustées sont

1{,}167

1{,}667

2{,}167

et les résidus

-0{,}167

0{,}333

-0{,}167

: leur somme est nulle et ils sont orthogonaux à

t

Équations normales : $A^{T}A\hat{\mathbf{x}}=A^{T}\mathbf{b}$ ; résolvez-les, n'inversez pas.
Résidu : $\mathbf{b}-A\hat{\mathbf{x}}$ , orthogonal à chaque colonne de $A$ ; avec une colonne de constante, sa somme est nulle.
Des colonnes indépendantes sont nécessaires pour une réponse unique ; des régresseurs colinéaires rendent $A^{T}A$ singulière.

Le conditionnement mis au carréFormer

A^{T}A

met le conditionnement au carré :

\kappa(A^{T}A)=\kappa(A)^2

. Si

\kappa(A)=10^{5}

, les équations normales ont

\kappa=10^{10}

et font perdre dix de vos seize chiffres. Le sujet suivant montre comment QR résout le même problème sans jamais former

A^{T}A

Lab : ce qui est noté

La matrice normale15 pts
La pente15 pts
L'ordonnée à l'origine15 pts
La taille de l'erreur10 pts
À quoi le résidu est orthogonal15 pts
Les étapes d'un ajustement par moindres carrés15 pts
Pourquoi la somme des résidus est nulle15 pts

0/ 7 traités

1Matrice · vecteur15 ptsSans réponse

Ajustez $y=c_0+c_1t$ aux points $(0,1)$ , $(1,2)$ , $(2,2)$ avec $A=\begin{pmatrix}1&0\\1&1\\1&2\end{pmatrix}$ et $\mathbf{b}=(1,2,2)$ . Remplissez $A^{T}A$ .

A^T A =

2Réponse numérique15 ptsSans réponse

Ajustez $y=c_0+c_1t$ aux points $(0,1)$ , $(1,2)$ , $(2,2)$ avec $A=\begin{pmatrix}1&0\\1&1\\1&2\end{pmatrix}$ et $\mathbf{b}=(1,2,2)$ . Résolvez $A^{T}A\mathbf{c}=A^{T}\mathbf{b}$ , où $A^{T}\mathbf{b}=(5,6)$ . Quelle est la pente $c_1$ ?

c_1 =

accepté : ± 0.001

3Réponse numérique15 ptsSans réponse

Ajustez $y=c_0+c_1t$ aux points $(0,1)$ , $(1,2)$ , $(2,2)$ avec $A=\begin{pmatrix}1&0\\1&1\\1&2\end{pmatrix}$ et $\mathbf{b}=(1,2,2)$ . Quelle est l'ordonnée à l'origine $c_0$ ? Donnez-la à trois décimales.

c_0 =

accepté : ± 0.001

4Réponse numérique10 ptsSans réponse

Ajustez $y=c_0+c_1t$ aux points $(0,1)$ , $(1,2)$ , $(2,2)$ avec $A=\begin{pmatrix}1&0\\1&1\\1&2\end{pmatrix}$ et $\mathbf{b}=(1,2,2)$ . Les résidus valent $(-1/6,\ 1/3,\ -1/6)$ . Quelle est la somme des carrés des résidus ? Donnez-la à trois décimales.

SSR =

accepté : ± 0.001

5Choix15 ptsSans réponse

Le résidu $\mathbf{b}-A\hat{\mathbf{x}}$ d'un ajustement par moindres carrés est orthogonal à lesquels de ces vecteurs ? Sélectionnez toutes les réponses.

6Remettre les étapes dans l'ordre15 ptsSans réponse

Mettez dans l'ordre les étapes d'ajustement d'une régression par les équations normales.

Faites glisser pour réordonner, ou placez le focus sur un élément, Espace pour le soulever, les flèches pour le déplacer et Espace pour le déposer.

1Former $A^{T}A$ et $A^{T}\mathbf{b}$
2Calculer les valeurs ajustées $A\hat{\mathbf{x}}$ et le résidu
3Construire $A$ avec une colonne de uns et les régresseurs
4Résoudre $A^{T}A\mathbf{x}=A^{T}\mathbf{b}$ pour les coefficients

7Expliquer avec des mots15 ptsSans réponse

Dans une régression avec constante, la somme des résidus est nulle. En deux phrases, dites pourquoi, en vous servant de l'orthogonalité.

Noté sur :La constante est une colonne de uns parmi les régresseursLe résidu lui est orthogonal, donc son produit scalaire avec les uns, la somme, est nul0 / 400 caractères

Mode mathsSaisie au clavier ou en LaTeXExercice 1 sur 7 · Ctrl ⏎ pour vérifier

Moindres carrés et équations normales

Position dans le parcoursModule 4 sur 4 · Sujet 1 sur 4

4.1 Moindres carrés et équations normales

—Score du lab— / 100XP total—Série—

Plus d'équations que d'inconnues

A^{T}A\,\hat{\mathbf{x}}=A^{T}\mathbf{b},\qquad \hat{\mathbf{x}}=(A^{T}A)^{-1}A^{T}\mathbf{b},\qquad \hat{\mathbf{b}}=A\hat{\mathbf{x}}

(1)

Ajuster une droite à trois pointsAjustons

y=c_0+c_1t

aux points

(0,1)

(1,2)

(2,2)

. Alors

A=\begin{pmatrix}1&0\\1&1\\1&2\end{pmatrix}

\mathbf{b}=(1,2,2)

, donc

A^{T}A=\begin{pmatrix}3&3\\3&5\end{pmatrix}

A^{T}\mathbf{b}=(5,6)

. Les équations normales

3c_0+3c_1=5

3c_0+5c_1=6

donnent

c_1=0{,}5

c_0=7/6\approx1{,}167

. Les valeurs ajustées sont

1{,}167

1{,}667

2{,}167

et les résidus

-0{,}167

0{,}333

-0{,}167

: leur somme est nulle et ils sont orthogonaux à

t

Équations normales : $A^{T}A\hat{\mathbf{x}}=A^{T}\mathbf{b}$ ; résolvez-les, n'inversez pas.
Résidu : $\mathbf{b}-A\hat{\mathbf{x}}$ , orthogonal à chaque colonne de $A$ ; avec une colonne de constante, sa somme est nulle.
Des colonnes indépendantes sont nécessaires pour une réponse unique ; des régresseurs colinéaires rendent $A^{T}A$ singulière.

Le conditionnement mis au carréFormer

A^{T}A

met le conditionnement au carré :

\kappa(A^{T}A)=\kappa(A)^2

. Si

\kappa(A)=10^{5}

, les équations normales ont

\kappa=10^{10}

et font perdre dix de vos seize chiffres. Le sujet suivant montre comment QR résout le même problème sans jamais former

A^{T}A

Lab : ce qui est noté

La matrice normale15 pts
La pente15 pts
L'ordonnée à l'origine15 pts
La taille de l'erreur10 pts
À quoi le résidu est orthogonal15 pts
Les étapes d'un ajustement par moindres carrés15 pts
Pourquoi la somme des résidus est nulle15 pts

0/ 7 traités

1Matrice · vecteur15 ptsSans réponse

Ajustez $y=c_0+c_1t$ aux points $(0,1)$ , $(1,2)$ , $(2,2)$ avec $A=\begin{pmatrix}1&0\\1&1\\1&2\end{pmatrix}$ et $\mathbf{b}=(1,2,2)$ . Remplissez $A^{T}A$ .

A^T A =

2Réponse numérique15 ptsSans réponse

c_1 =

accepté : ± 0.001

3Réponse numérique15 ptsSans réponse

c_0 =

accepté : ± 0.001

4Réponse numérique10 ptsSans réponse

SSR =

accepté : ± 0.001

5Choix15 ptsSans réponse

Le résidu $\mathbf{b}-A\hat{\mathbf{x}}$ d'un ajustement par moindres carrés est orthogonal à lesquels de ces vecteurs ? Sélectionnez toutes les réponses.

6Remettre les étapes dans l'ordre15 ptsSans réponse

Mettez dans l'ordre les étapes d'ajustement d'une régression par les équations normales.

Faites glisser pour réordonner, ou placez le focus sur un élément, Espace pour le soulever, les flèches pour le déplacer et Espace pour le déposer.

1Former $A^{T}A$ et $A^{T}\mathbf{b}$
2Calculer les valeurs ajustées $A\hat{\mathbf{x}}$ et le résidu
3Construire $A$ avec une colonne de uns et les régresseurs
4Résoudre $A^{T}A\mathbf{x}=A^{T}\mathbf{b}$ pour les coefficients

7Expliquer avec des mots15 ptsSans réponse

Dans une régression avec constante, la somme des résidus est nulle. En deux phrases, dites pourquoi, en vous servant de l'orthogonalité.

Noté sur :La constante est une colonne de uns parmi les régresseursLe résidu lui est orthogonal, donc son produit scalaire avec les uns, la somme, est nul0 / 400 caractères

Mode mathsSaisie au clavier ou en LaTeXExercice 1 sur 7 · Ctrl ⏎ pour vérifier

Moindres carrés et équations normales

Plus d'équations que d'inconnues

Lab : ce qui est noté

Connectez-vous pour exécuter votre code.

Moindres carrés et équations normales

Plus d'équations que d'inconnues

Lab : ce qui est noté

Connectez-vous pour exécuter votre code.