Mínimos cuadrados y ecuaciones normales

Posición en la rutaMódulo 4 de 4 · Tema 1 de 4

4.1 Mínimos cuadrados y ecuaciones normales

—Puntuación del lab— / 100XP total—Racha—

Más ecuaciones que incógnitas

Una regresión tiene muchas observaciones y pocos coeficientes: $A\mathbf{x}=\mathbf{b}$ con $A$ alta ( $n$ filas, $p$ columnas, $n>p$ ) no tiene solución exacta, porque $\mathbf{b}$ casi nunca está en el espacio de columnas. Los mínimos cuadrados eligen el $\hat{\mathbf{x}}$ que hace el error lo menor posible, $\min_{\mathbf{x}}\|A\mathbf{x}-\mathbf{b}\|^2$ . Geométricamente, $A\hat{\mathbf{x}}$ es la proyección de $\mathbf{b}$ sobre el espacio de columnas, así que el residuo $\mathbf{b}-A\hat{\mathbf{x}}$ es ortogonal a cada columna de $A$ .

A^{T}A\,\hat{\mathbf{x}}=A^{T}\mathbf{b},\qquad \hat{\mathbf{x}}=(A^{T}A)^{-1}A^{T}\mathbf{b},\qquad \hat{\mathbf{b}}=A\hat{\mathbf{x}}

(1)

La ortogonalidad del residuo, $A^{T}(\mathbf{b}-A\hat{\mathbf{x}})=\mathbf{0}$ , se reordena en las ecuaciones normales de arriba. Siempre tienen solución, única cuando las columnas de $A$ son independientes (entonces $A^{T}A$ es invertible). En notación de regresión, $A=X$ contiene los regresores, con una primera columna de unos para el intercepto, $\mathbf{b}=\mathbf{y}$ es la respuesta y $\hat{\boldsymbol\beta}=(X^{T}X)^{-1}X^{T}\mathbf{y}$ son los coeficientes MCO. En código se sigue resolviendo el sistema en lugar de invertir $X^{T}X$ .

Ajustar una recta a tres puntosAjustemos

y=c_0+c_1t

a los puntos

(0,1)

(1,2)

(2,2)

. Entonces

A=\begin{pmatrix}1&0\\1&1\\1&2\end{pmatrix}

\mathbf{b}=(1,2,2)

, así que

A^{T}A=\begin{pmatrix}3&3\\3&5\end{pmatrix}

A^{T}\mathbf{b}=(5,6)

. Las ecuaciones normales

3c_0+3c_1=5

3c_0+5c_1=6

dan

c_1=0{,}5

c_0=7/6\approx1{,}167

. Los valores ajustados son

1{,}167

1{,}667

2{,}167

y los residuos

-0{,}167

0{,}333

-0{,}167

: suman cero y son ortogonales a

t

Ecuaciones normales: $A^{T}A\hat{\mathbf{x}}=A^{T}\mathbf{b}$ ; resuélvalas, no invierta.
Residuo: $\mathbf{b}-A\hat{\mathbf{x}}$ , ortogonal a cada columna de $A$ ; con una columna de intercepto suma cero.
Columnas independientes son necesarias para una respuesta única; regresores colineales vuelven singular a $A^{T}A$ .

El número de condición al cuadradoFormar

A^{T}A

eleva al cuadrado el número de condición:

\kappa(A^{T}A)=\kappa(A)^2

. Si

\kappa(A)=10^{5}

, las ecuaciones normales tienen

\kappa=10^{10}

y hacen perder diez de sus dieciséis dígitos. El siguiente tema muestra cómo QR resuelve el mismo problema sin formar nunca

A^{T}A

Lab: qué se califica

La matriz normal15 pts
La pendiente15 pts
El intercepto15 pts
El tamaño del error10 pts
A qué es ortogonal el residuo15 pts
Los pasos de un ajuste por mínimos cuadrados15 pts
Por qué los residuos suman cero15 pts

0/ 7 respondidos

1Matriz · vector15 ptsSin responder

Ajuste $y=c_0+c_1t$ a los puntos $(0,1)$ , $(1,2)$ , $(2,2)$ con $A=\begin{pmatrix}1&0\\1&1\\1&2\end{pmatrix}$ y $\mathbf{b}=(1,2,2)$ . Complete $A^{T}A$ .

A^T A =

2Respuesta numérica15 ptsSin responder

Ajuste $y=c_0+c_1t$ a los puntos $(0,1)$ , $(1,2)$ , $(2,2)$ con $A=\begin{pmatrix}1&0\\1&1\\1&2\end{pmatrix}$ y $\mathbf{b}=(1,2,2)$ . Resuelva $A^{T}A\mathbf{c}=A^{T}\mathbf{b}$ , donde $A^{T}\mathbf{b}=(5,6)$ . ¿Cuál es la pendiente $c_1$ ?

c_1 =

aceptado: ± 0.001

3Respuesta numérica15 ptsSin responder

Ajuste $y=c_0+c_1t$ a los puntos $(0,1)$ , $(1,2)$ , $(2,2)$ con $A=\begin{pmatrix}1&0\\1&1\\1&2\end{pmatrix}$ y $\mathbf{b}=(1,2,2)$ . ¿Cuál es el intercepto $c_0$ ? Dé tres decimales.

c_0 =

aceptado: ± 0.001

4Respuesta numérica10 ptsSin responder

Ajuste $y=c_0+c_1t$ a los puntos $(0,1)$ , $(1,2)$ , $(2,2)$ con $A=\begin{pmatrix}1&0\\1&1\\1&2\end{pmatrix}$ y $\mathbf{b}=(1,2,2)$ . Los residuos son $(-1/6,\ 1/3,\ -1/6)$ . ¿Cuál es la suma de los residuos al cuadrado? Dé tres decimales.

SSR =

aceptado: ± 0.001

5Elección15 ptsSin responder

El residuo $\mathbf{b}-A\hat{\mathbf{x}}$ de un ajuste por mínimos cuadrados es ortogonal a cuáles de estos? Seleccione todos los que correspondan.

6Ordenar los pasos15 ptsSin responder

Ponga en orden los pasos para ajustar una regresión con las ecuaciones normales.

Arrastra para reordenar, o enfoca un elemento, pulsa Espacio para levantarlo, las flechas para moverlo y Espacio para soltarlo.

1Formar $A^{T}A$ y $A^{T}\mathbf{b}$
2Calcular los valores ajustados $A\hat{\mathbf{x}}$ y el residuo
3Construir $A$ con una columna de unos y los regresores
4Resolver $A^{T}A\mathbf{x}=A^{T}\mathbf{b}$ para los coeficientes

7Explicar con palabras15 ptsSin responder

En una regresión con intercepto, los residuos suman cero. En dos frases, diga por qué, usando la ortogonalidad.

Se califica por:El intercepto es una columna de unos entre los regresoresEl residuo es ortogonal a ella, así que su producto escalar con los unos, la suma, es cero0 / 400 caracteres

Modo matemáticasEntrada por teclado o LaTeXEjercicio 1 de 7 · Ctrl ⏎ para comprobar

Mínimos cuadrados y ecuaciones normales

Posición en la rutaMódulo 4 de 4 · Tema 1 de 4

4.1 Mínimos cuadrados y ecuaciones normales

—Puntuación del lab— / 100XP total—Racha—

Más ecuaciones que incógnitas

A^{T}A\,\hat{\mathbf{x}}=A^{T}\mathbf{b},\qquad \hat{\mathbf{x}}=(A^{T}A)^{-1}A^{T}\mathbf{b},\qquad \hat{\mathbf{b}}=A\hat{\mathbf{x}}

(1)

Ajustar una recta a tres puntosAjustemos

y=c_0+c_1t

a los puntos

(0,1)

(1,2)

(2,2)

. Entonces

A=\begin{pmatrix}1&0\\1&1\\1&2\end{pmatrix}

\mathbf{b}=(1,2,2)

, así que

A^{T}A=\begin{pmatrix}3&3\\3&5\end{pmatrix}

A^{T}\mathbf{b}=(5,6)

. Las ecuaciones normales

3c_0+3c_1=5

3c_0+5c_1=6

dan

c_1=0{,}5

c_0=7/6\approx1{,}167

. Los valores ajustados son

1{,}167

1{,}667

2{,}167

y los residuos

-0{,}167

0{,}333

-0{,}167

: suman cero y son ortogonales a

t

Ecuaciones normales: $A^{T}A\hat{\mathbf{x}}=A^{T}\mathbf{b}$ ; resuélvalas, no invierta.
Residuo: $\mathbf{b}-A\hat{\mathbf{x}}$ , ortogonal a cada columna de $A$ ; con una columna de intercepto suma cero.
Columnas independientes son necesarias para una respuesta única; regresores colineales vuelven singular a $A^{T}A$ .

El número de condición al cuadradoFormar

A^{T}A

eleva al cuadrado el número de condición:

\kappa(A^{T}A)=\kappa(A)^2

. Si

\kappa(A)=10^{5}

, las ecuaciones normales tienen

\kappa=10^{10}

y hacen perder diez de sus dieciséis dígitos. El siguiente tema muestra cómo QR resuelve el mismo problema sin formar nunca

A^{T}A

Lab: qué se califica

La matriz normal15 pts
La pendiente15 pts
El intercepto15 pts
El tamaño del error10 pts
A qué es ortogonal el residuo15 pts
Los pasos de un ajuste por mínimos cuadrados15 pts
Por qué los residuos suman cero15 pts

0/ 7 respondidos

1Matriz · vector15 ptsSin responder

Ajuste $y=c_0+c_1t$ a los puntos $(0,1)$ , $(1,2)$ , $(2,2)$ con $A=\begin{pmatrix}1&0\\1&1\\1&2\end{pmatrix}$ y $\mathbf{b}=(1,2,2)$ . Complete $A^{T}A$ .

A^T A =

2Respuesta numérica15 ptsSin responder

c_1 =

aceptado: ± 0.001

3Respuesta numérica15 ptsSin responder

Ajuste $y=c_0+c_1t$ a los puntos $(0,1)$ , $(1,2)$ , $(2,2)$ con $A=\begin{pmatrix}1&0\\1&1\\1&2\end{pmatrix}$ y $\mathbf{b}=(1,2,2)$ . ¿Cuál es el intercepto $c_0$ ? Dé tres decimales.

c_0 =

aceptado: ± 0.001

4Respuesta numérica10 ptsSin responder

SSR =

aceptado: ± 0.001

5Elección15 ptsSin responder

El residuo $\mathbf{b}-A\hat{\mathbf{x}}$ de un ajuste por mínimos cuadrados es ortogonal a cuáles de estos? Seleccione todos los que correspondan.

6Ordenar los pasos15 ptsSin responder

Ponga en orden los pasos para ajustar una regresión con las ecuaciones normales.

Arrastra para reordenar, o enfoca un elemento, pulsa Espacio para levantarlo, las flechas para moverlo y Espacio para soltarlo.

1Formar $A^{T}A$ y $A^{T}\mathbf{b}$
2Calcular los valores ajustados $A\hat{\mathbf{x}}$ y el residuo
3Construir $A$ con una columna de unos y los regresores
4Resolver $A^{T}A\mathbf{x}=A^{T}\mathbf{b}$ para los coeficientes

7Explicar con palabras15 ptsSin responder

En una regresión con intercepto, los residuos suman cero. En dos frases, diga por qué, usando la ortogonalidad.

Se califica por:El intercepto es una columna de unos entre los regresoresEl residuo es ortogonal a ella, así que su producto escalar con los unos, la suma, es cero0 / 400 caracteres

Modo matemáticasEntrada por teclado o LaTeXEjercicio 1 de 7 · Ctrl ⏎ para comprobar

Mínimos cuadrados y ecuaciones normales

Más ecuaciones que incógnitas

Lab: qué se califica

Inicia sesión para ejecutar tu código.

Mínimos cuadrados y ecuaciones normales

Más ecuaciones que incógnitas

Lab: qué se califica

Inicia sesión para ejecutar tu código.