Kleinste Quadrate und Normalgleichungen

Position in der SkillModul 4 von 4 · Thema 1 von 4

4.1 Kleinste Quadrate und Normalgleichungen

—Lab-Punkte— / 100XP gesamt—Serie—

Mehr Gleichungen als Unbekannte

Eine Regression hat viele Beobachtungen und wenige Koeffizienten: $A\mathbf{x}=\mathbf{b}$ mit hoher Matrix $A$ ( $n$ Zeilen, $p$ Spalten, $n>p$ ) hat keine exakte Lösung, weil $\mathbf{b}$ fast nie im Spaltenraum liegt. Kleinste Quadrate wählt das $\hat{\mathbf{x}}$ , das den Fehler so klein wie möglich macht, $\min_{\mathbf{x}}\|A\mathbf{x}-\mathbf{b}\|^2$ . Geometrisch ist $A\hat{\mathbf{x}}$ die Projektion von $\mathbf{b}$ auf den Spaltenraum, das Residuum $\mathbf{b}-A\hat{\mathbf{x}}$ steht also senkrecht auf jeder Spalte von $A$ .

A^{T}A\,\hat{\mathbf{x}}=A^{T}\mathbf{b},\qquad \hat{\mathbf{x}}=(A^{T}A)^{-1}A^{T}\mathbf{b},\qquad \hat{\mathbf{b}}=A\hat{\mathbf{x}}

(1)

Die Orthogonalität des Residuums, $A^{T}(\mathbf{b}-A\hat{\mathbf{x}})=\mathbf{0}$ , lässt sich zu den obigen Normalgleichungen umstellen. Sie sind stets lösbar, eindeutig, wenn die Spalten von $A$ unabhängig sind ( $A^{T}A$ ist dann invertierbar). In der Regressionsschreibweise enthält $A=X$ die Regressoren, mit einer ersten Spalte aus Einsen für den Achsenabschnitt, $\mathbf{b}=\mathbf{y}$ ist die Zielgröße und $\hat{\boldsymbol\beta}=(X^{T}X)^{-1}X^{T}\mathbf{y}$ sind die OLS-Koeffizienten. Im Code löst man weiterhin das System, statt $X^{T}X$ zu invertieren.

Eine Gerade an drei Punkte anpassenPassen Sie

y=c_0+c_1t

an die Punkte

(0,1)

(1,2)

(2,2)

an. Dann ist

A=\begin{pmatrix}1&0\\1&1\\1&2\end{pmatrix}

und

\mathbf{b}=(1,2,2)

, also

A^{T}A=\begin{pmatrix}3&3\\3&5\end{pmatrix}

und

A^{T}\mathbf{b}=(5,6)

. Die Normalgleichungen

3c_0+3c_1=5

3c_0+5c_1=6

liefern

c_1=0{,}5

und

c_0=7/6\approx1{,}167

. Die angepassten Werte sind

1{,}167

1{,}667

2{,}167

und die Residuen

-0{,}167

0{,}333

-0{,}167

: Sie summieren sich zu null und sind orthogonal zu

t

Normalgleichungen: $A^{T}A\hat{\mathbf{x}}=A^{T}\mathbf{b}$ ; lösen, nicht invertieren.
Residuum: $\mathbf{b}-A\hat{\mathbf{x}}$ , orthogonal zu jeder Spalte von $A$ ; mit Achsenabschnittsspalte ist die Summe null.
Unabhängige Spalten braucht es für eine eindeutige Antwort; kollineare Regressoren machen $A^{T}A$ singulär.

Die Konditionszahl wird quadriertDas Bilden von

A^{T}A

quadriert die Konditionszahl:

\kappa(A^{T}A)=\kappa(A)^2

. Bei

\kappa(A)=10^{5}

haben die Normalgleichungen

\kappa=10^{10}

und kosten zehn von sechzehn Stellen. Das nächste Thema zeigt, wie QR dasselbe Problem löst, ohne

A^{T}A

je zu bilden.

Lab: Was bewertet wird

Die Normalmatrix15 Pkt.
Die Steigung15 Pkt.
Der Achsenabschnitt15 Pkt.
Die Größe des Fehlers10 Pkt.
Wozu das Residuum orthogonal ist15 Pkt.
Die Schritte einer Kleinste-Quadrate-Anpassung15 Pkt.
Warum die Residuen null ergeben15 Pkt.

0/ 7 beantwortet

1Matrix · Vektor15 Pkt.Nicht beantwortet

Passen Sie $y=c_0+c_1t$ an die Punkte $(0,1)$ , $(1,2)$ , $(2,2)$ an, mit $A=\begin{pmatrix}1&0\\1&1\\1&2\end{pmatrix}$ und $\mathbf{b}=(1,2,2)$ . Tragen Sie $A^{T}A$ ein.

A^T A =

2Numerische Antwort15 Pkt.Nicht beantwortet

Passen Sie $y=c_0+c_1t$ an die Punkte $(0,1)$ , $(1,2)$ , $(2,2)$ an, mit $A=\begin{pmatrix}1&0\\1&1\\1&2\end{pmatrix}$ und $\mathbf{b}=(1,2,2)$ . Lösen Sie $A^{T}A\mathbf{c}=A^{T}\mathbf{b}$ mit $A^{T}\mathbf{b}=(5,6)$ . Wie groß ist die Steigung $c_1$ ?

c_1 =

akzeptiert: ± 0.001

3Numerische Antwort15 Pkt.Nicht beantwortet

Passen Sie $y=c_0+c_1t$ an die Punkte $(0,1)$ , $(1,2)$ , $(2,2)$ an, mit $A=\begin{pmatrix}1&0\\1&1\\1&2\end{pmatrix}$ und $\mathbf{b}=(1,2,2)$ . Wie groß ist der Achsenabschnitt $c_0$ ? Geben Sie drei Nachkommastellen an.

c_0 =

akzeptiert: ± 0.001

4Numerische Antwort10 Pkt.Nicht beantwortet

Passen Sie $y=c_0+c_1t$ an die Punkte $(0,1)$ , $(1,2)$ , $(2,2)$ an, mit $A=\begin{pmatrix}1&0\\1&1\\1&2\end{pmatrix}$ und $\mathbf{b}=(1,2,2)$ . Die Residuen sind $(-1/6,\ 1/3,\ -1/6)$ . Wie groß ist die Summe der quadrierten Residuen? Geben Sie drei Nachkommastellen an.

SSR =

akzeptiert: ± 0.001

5Auswahl15 Pkt.Nicht beantwortet

Zu welchen dieser Vektoren ist das Residuum $\mathbf{b}-A\hat{\mathbf{x}}$ einer Kleinste-Quadrate-Anpassung orthogonal? Wählen Sie alle zutreffenden aus.

6Schritte ordnen15 Pkt.Nicht beantwortet

Bringen Sie die Schritte zur Anpassung einer Regression über die Normalgleichungen in die richtige Reihenfolge.

Zum Umsortieren ziehen, oder ein Element fokussieren, mit Leertaste anheben, mit Pfeiltasten bewegen und mit Leertaste ablegen.

1 $A^{T}A$ und $A^{T}\mathbf{b}$ bilden
2Angepasste Werte $A\hat{\mathbf{x}}$ und Residuum berechnen
3 $A$ aus einer Einsenspalte und den Regressoren bilden
4 $A^{T}A\mathbf{x}=A^{T}\mathbf{b}$ nach den Koeffizienten lösen

7In Worten erklären15 Pkt.Nicht beantwortet

In einer Regression mit Achsenabschnitt summieren sich die Residuen zu null. Sagen Sie in zwei Sätzen, warum, und nutzen Sie die Orthogonalität.

Bewertet nach:Der Achsenabschnitt ist eine Einsenspalte unter den RegressorenDas Residuum ist orthogonal dazu, sein Skalarprodukt mit den Einsen, die Summe, ist also null0 / 400 Zeichen

Mathe-ModusEingabe per Tastatur oder LaTeXAufgabe 1 von 7 · Strg ⏎ zum Prüfen

Kleinste Quadrate und Normalgleichungen

Position in der SkillModul 4 von 4 · Thema 1 von 4

4.1 Kleinste Quadrate und Normalgleichungen

—Lab-Punkte— / 100XP gesamt—Serie—

Mehr Gleichungen als Unbekannte

A^{T}A\,\hat{\mathbf{x}}=A^{T}\mathbf{b},\qquad \hat{\mathbf{x}}=(A^{T}A)^{-1}A^{T}\mathbf{b},\qquad \hat{\mathbf{b}}=A\hat{\mathbf{x}}

(1)

Eine Gerade an drei Punkte anpassenPassen Sie

y=c_0+c_1t

an die Punkte

(0,1)

(1,2)

(2,2)

an. Dann ist

A=\begin{pmatrix}1&0\\1&1\\1&2\end{pmatrix}

und

\mathbf{b}=(1,2,2)

, also

A^{T}A=\begin{pmatrix}3&3\\3&5\end{pmatrix}

und

A^{T}\mathbf{b}=(5,6)

. Die Normalgleichungen

3c_0+3c_1=5

3c_0+5c_1=6

liefern

c_1=0{,}5

und

c_0=7/6\approx1{,}167

. Die angepassten Werte sind

1{,}167

1{,}667

2{,}167

und die Residuen

-0{,}167

0{,}333

-0{,}167

: Sie summieren sich zu null und sind orthogonal zu

t

Normalgleichungen: $A^{T}A\hat{\mathbf{x}}=A^{T}\mathbf{b}$ ; lösen, nicht invertieren.
Residuum: $\mathbf{b}-A\hat{\mathbf{x}}$ , orthogonal zu jeder Spalte von $A$ ; mit Achsenabschnittsspalte ist die Summe null.
Unabhängige Spalten braucht es für eine eindeutige Antwort; kollineare Regressoren machen $A^{T}A$ singulär.

Die Konditionszahl wird quadriertDas Bilden von

A^{T}A

quadriert die Konditionszahl:

\kappa(A^{T}A)=\kappa(A)^2

. Bei

\kappa(A)=10^{5}

haben die Normalgleichungen

\kappa=10^{10}

und kosten zehn von sechzehn Stellen. Das nächste Thema zeigt, wie QR dasselbe Problem löst, ohne

A^{T}A

je zu bilden.

Lab: Was bewertet wird

Die Normalmatrix15 Pkt.
Die Steigung15 Pkt.
Der Achsenabschnitt15 Pkt.
Die Größe des Fehlers10 Pkt.
Wozu das Residuum orthogonal ist15 Pkt.
Die Schritte einer Kleinste-Quadrate-Anpassung15 Pkt.
Warum die Residuen null ergeben15 Pkt.

0/ 7 beantwortet

1Matrix · Vektor15 Pkt.Nicht beantwortet

Passen Sie $y=c_0+c_1t$ an die Punkte $(0,1)$ , $(1,2)$ , $(2,2)$ an, mit $A=\begin{pmatrix}1&0\\1&1\\1&2\end{pmatrix}$ und $\mathbf{b}=(1,2,2)$ . Tragen Sie $A^{T}A$ ein.

A^T A =

2Numerische Antwort15 Pkt.Nicht beantwortet

c_1 =

akzeptiert: ± 0.001

3Numerische Antwort15 Pkt.Nicht beantwortet

c_0 =

akzeptiert: ± 0.001

4Numerische Antwort10 Pkt.Nicht beantwortet

SSR =

akzeptiert: ± 0.001

5Auswahl15 Pkt.Nicht beantwortet

Zu welchen dieser Vektoren ist das Residuum $\mathbf{b}-A\hat{\mathbf{x}}$ einer Kleinste-Quadrate-Anpassung orthogonal? Wählen Sie alle zutreffenden aus.

6Schritte ordnen15 Pkt.Nicht beantwortet

Bringen Sie die Schritte zur Anpassung einer Regression über die Normalgleichungen in die richtige Reihenfolge.

Zum Umsortieren ziehen, oder ein Element fokussieren, mit Leertaste anheben, mit Pfeiltasten bewegen und mit Leertaste ablegen.

1 $A^{T}A$ und $A^{T}\mathbf{b}$ bilden
2Angepasste Werte $A\hat{\mathbf{x}}$ und Residuum berechnen
3 $A$ aus einer Einsenspalte und den Regressoren bilden
4 $A^{T}A\mathbf{x}=A^{T}\mathbf{b}$ nach den Koeffizienten lösen

7In Worten erklären15 Pkt.Nicht beantwortet

In einer Regression mit Achsenabschnitt summieren sich die Residuen zu null. Sagen Sie in zwei Sätzen, warum, und nutzen Sie die Orthogonalität.

Bewertet nach:Der Achsenabschnitt ist eine Einsenspalte unter den RegressorenDas Residuum ist orthogonal dazu, sein Skalarprodukt mit den Einsen, die Summe, ist also null0 / 400 Zeichen

Mathe-ModusEingabe per Tastatur oder LaTeXAufgabe 1 von 7 · Strg ⏎ zum Prüfen

Kleinste Quadrate und Normalgleichungen

Mehr Gleichungen als Unbekannte

Lab: Was bewertet wird

Melde dich an, um deinen Code auszuführen.

Kleinste Quadrate und Normalgleichungen

Mehr Gleichungen als Unbekannte

Lab: Was bewertet wird

Melde dich an, um deinen Code auszuführen.