Mínimos quadrados e equações normais

Posição no roteiroMódulo 4 de 4 · Tópico 1 de 4

4.1 Mínimos quadrados e equações normais

—Nota do lab— / 100XP total—Sequência—

Mais equações do que incógnitas

Uma regressão tem muitas observações e poucos coeficientes: $A\mathbf{x}=\mathbf{b}$ com $A$ alta ( $n$ linhas, $p$ colunas, $n>p$ ) não tem solução exata, porque $\mathbf{b}$ quase nunca está no espaço das colunas. Os mínimos quadrados escolhem o $\hat{\mathbf{x}}$ que torna o erro o menor possível, $\min_{\mathbf{x}}\|A\mathbf{x}-\mathbf{b}\|^2$ . Geometricamente, $A\hat{\mathbf{x}}$ é a projeção de $\mathbf{b}$ sobre o espaço das colunas, então o resíduo $\mathbf{b}-A\hat{\mathbf{x}}$ é ortogonal a cada coluna de $A$ .

A^{T}A\,\hat{\mathbf{x}}=A^{T}\mathbf{b},\qquad \hat{\mathbf{x}}=(A^{T}A)^{-1}A^{T}\mathbf{b},\qquad \hat{\mathbf{b}}=A\hat{\mathbf{x}}

(1)

A ortogonalidade do resíduo, $A^{T}(\mathbf{b}-A\hat{\mathbf{x}})=\mathbf{0}$ , reorganiza-se nas equações normais acima. Elas sempre têm solução, única quando as colunas de $A$ são independentes (então $A^{T}A$ é invertível). Na notação de regressão, $A=X$ contém os regressores, com uma primeira coluna de uns para o intercepto, $\mathbf{b}=\mathbf{y}$ é a resposta e $\hat{\boldsymbol\beta}=(X^{T}X)^{-1}X^{T}\mathbf{y}$ são os coeficientes MQO. No código, ainda se resolve o sistema em vez de inverter $X^{T}X$ .

Ajustar uma reta a três pontosAjustemos

y=c_0+c_1t

aos pontos

(0,1)

(1,2)

(2,2)

. Então

A=\begin{pmatrix}1&0\\1&1\\1&2\end{pmatrix}

\mathbf{b}=(1,2,2)

, logo

A^{T}A=\begin{pmatrix}3&3\\3&5\end{pmatrix}

A^{T}\mathbf{b}=(5,6)

. As equações normais

3c_0+3c_1=5

3c_0+5c_1=6

dão

c_1=0{,}5

c_0=7/6\approx1{,}167

. Os valores ajustados são

1{,}167

1{,}667

2{,}167

e os resíduos

-0{,}167

0{,}333

-0{,}167

: somam zero e são ortogonais a

t

Equações normais: $A^{T}A\hat{\mathbf{x}}=A^{T}\mathbf{b}$ ; resolva-as, não inverta.
Resíduo: $\mathbf{b}-A\hat{\mathbf{x}}$ , ortogonal a cada coluna de $A$ ; com uma coluna de intercepto soma zero.
Colunas independentes são necessárias para uma resposta única; regressores colineares tornam $A^{T}A$ singular.

O número de condição ao quadradoFormar

A^{T}A

eleva ao quadrado o número de condição:

\kappa(A^{T}A)=\kappa(A)^2

. Se

\kappa(A)=10^{5}

, as equações normais têm

\kappa=10^{10}

e fazem perder dez dos seus dezesseis dígitos. O próximo tópico mostra como o QR resolve o mesmo problema sem nunca formar

A^{T}A

Lab: o que é avaliado

A matriz normal15 pts
A inclinação15 pts
O intercepto15 pts
O tamanho do erro10 pts
A que o resíduo é ortogonal15 pts
Os passos de um ajuste por mínimos quadrados15 pts
Por que os resíduos somam zero15 pts

0/ 7 respondidas

1Matriz · vetor15 ptsSem resposta

Ajuste $y=c_0+c_1t$ aos pontos $(0,1)$ , $(1,2)$ , $(2,2)$ com $A=\begin{pmatrix}1&0\\1&1\\1&2\end{pmatrix}$ e $\mathbf{b}=(1,2,2)$ . Preencha $A^{T}A$ .

A^T A =

2Resposta numérica15 ptsSem resposta

Ajuste $y=c_0+c_1t$ aos pontos $(0,1)$ , $(1,2)$ , $(2,2)$ com $A=\begin{pmatrix}1&0\\1&1\\1&2\end{pmatrix}$ e $\mathbf{b}=(1,2,2)$ . Resolva $A^{T}A\mathbf{c}=A^{T}\mathbf{b}$ , onde $A^{T}\mathbf{b}=(5,6)$ . Qual é a inclinação $c_1$ ?

c_1 =

aceito: ± 0.001

3Resposta numérica15 ptsSem resposta

Ajuste $y=c_0+c_1t$ aos pontos $(0,1)$ , $(1,2)$ , $(2,2)$ com $A=\begin{pmatrix}1&0\\1&1\\1&2\end{pmatrix}$ e $\mathbf{b}=(1,2,2)$ . Qual é o intercepto $c_0$ ? Dê com três casas decimais.

c_0 =

aceito: ± 0.001

4Resposta numérica10 ptsSem resposta

Ajuste $y=c_0+c_1t$ aos pontos $(0,1)$ , $(1,2)$ , $(2,2)$ com $A=\begin{pmatrix}1&0\\1&1\\1&2\end{pmatrix}$ e $\mathbf{b}=(1,2,2)$ . Os resíduos são $(-1/6,\ 1/3,\ -1/6)$ . Qual é a soma dos quadrados dos resíduos? Dê com três casas decimais.

SSR =

aceito: ± 0.001

5Escolha15 ptsSem resposta

O resíduo $\mathbf{b}-A\hat{\mathbf{x}}$ de um ajuste por mínimos quadrados é ortogonal a quais destes? Selecione todos os que se aplicam.

6Ordenar os passos15 ptsSem resposta

Ponha em ordem os passos para ajustar uma regressão pelas equações normais.

Arraste para reordenar, ou foque um item, Espaço para levantá-lo, setas para movê-lo e Espaço para soltá-lo.

1Formar $A^{T}A$ e $A^{T}\mathbf{b}$
2Calcular os valores ajustados $A\hat{\mathbf{x}}$ e o resíduo
3Construir $A$ com uma coluna de uns e os regressores
4Resolver $A^{T}A\mathbf{x}=A^{T}\mathbf{b}$ para os coeficientes

7Explicar com palavras15 ptsSem resposta

Em uma regressão com intercepto, os resíduos somam zero. Em duas frases, diga por quê, usando a ortogonalidade.

Avaliado por:O intercepto é uma coluna de uns entre os regressoresO resíduo é ortogonal a ela, então seu produto escalar com os uns, a soma, é zero0 / 400 caracteres

Modo matemáticaEntrada por teclado ou LaTeXTarefa 1 de 7 · Ctrl ⏎ para verificar

Mínimos quadrados e equações normais

Posição no roteiroMódulo 4 de 4 · Tópico 1 de 4

4.1 Mínimos quadrados e equações normais

—Nota do lab— / 100XP total—Sequência—

Mais equações do que incógnitas

A^{T}A\,\hat{\mathbf{x}}=A^{T}\mathbf{b},\qquad \hat{\mathbf{x}}=(A^{T}A)^{-1}A^{T}\mathbf{b},\qquad \hat{\mathbf{b}}=A\hat{\mathbf{x}}

(1)

Ajustar uma reta a três pontosAjustemos

y=c_0+c_1t

aos pontos

(0,1)

(1,2)

(2,2)

. Então

A=\begin{pmatrix}1&0\\1&1\\1&2\end{pmatrix}

\mathbf{b}=(1,2,2)

, logo

A^{T}A=\begin{pmatrix}3&3\\3&5\end{pmatrix}

A^{T}\mathbf{b}=(5,6)

. As equações normais

3c_0+3c_1=5

3c_0+5c_1=6

dão

c_1=0{,}5

c_0=7/6\approx1{,}167

. Os valores ajustados são

1{,}167

1{,}667

2{,}167

e os resíduos

-0{,}167

0{,}333

-0{,}167

: somam zero e são ortogonais a

t

Equações normais: $A^{T}A\hat{\mathbf{x}}=A^{T}\mathbf{b}$ ; resolva-as, não inverta.
Resíduo: $\mathbf{b}-A\hat{\mathbf{x}}$ , ortogonal a cada coluna de $A$ ; com uma coluna de intercepto soma zero.
Colunas independentes são necessárias para uma resposta única; regressores colineares tornam $A^{T}A$ singular.

O número de condição ao quadradoFormar

A^{T}A

eleva ao quadrado o número de condição:

\kappa(A^{T}A)=\kappa(A)^2

. Se

\kappa(A)=10^{5}

, as equações normais têm

\kappa=10^{10}

e fazem perder dez dos seus dezesseis dígitos. O próximo tópico mostra como o QR resolve o mesmo problema sem nunca formar

A^{T}A

Lab: o que é avaliado

A matriz normal15 pts
A inclinação15 pts
O intercepto15 pts
O tamanho do erro10 pts
A que o resíduo é ortogonal15 pts
Os passos de um ajuste por mínimos quadrados15 pts
Por que os resíduos somam zero15 pts

0/ 7 respondidas

1Matriz · vetor15 ptsSem resposta

Ajuste $y=c_0+c_1t$ aos pontos $(0,1)$ , $(1,2)$ , $(2,2)$ com $A=\begin{pmatrix}1&0\\1&1\\1&2\end{pmatrix}$ e $\mathbf{b}=(1,2,2)$ . Preencha $A^{T}A$ .

A^T A =

2Resposta numérica15 ptsSem resposta

c_1 =

aceito: ± 0.001

3Resposta numérica15 ptsSem resposta

Ajuste $y=c_0+c_1t$ aos pontos $(0,1)$ , $(1,2)$ , $(2,2)$ com $A=\begin{pmatrix}1&0\\1&1\\1&2\end{pmatrix}$ e $\mathbf{b}=(1,2,2)$ . Qual é o intercepto $c_0$ ? Dê com três casas decimais.

c_0 =

aceito: ± 0.001

4Resposta numérica10 ptsSem resposta

SSR =

aceito: ± 0.001

5Escolha15 ptsSem resposta

O resíduo $\mathbf{b}-A\hat{\mathbf{x}}$ de um ajuste por mínimos quadrados é ortogonal a quais destes? Selecione todos os que se aplicam.

6Ordenar os passos15 ptsSem resposta

Ponha em ordem os passos para ajustar uma regressão pelas equações normais.

Arraste para reordenar, ou foque um item, Espaço para levantá-lo, setas para movê-lo e Espaço para soltá-lo.

1Formar $A^{T}A$ e $A^{T}\mathbf{b}$
2Calcular os valores ajustados $A\hat{\mathbf{x}}$ e o resíduo
3Construir $A$ com uma coluna de uns e os regressores
4Resolver $A^{T}A\mathbf{x}=A^{T}\mathbf{b}$ para os coeficientes

7Explicar com palavras15 ptsSem resposta

Em uma regressão com intercepto, os resíduos somam zero. Em duas frases, diga por quê, usando a ortogonalidade.

Avaliado por:O intercepto é uma coluna de uns entre os regressoresO resíduo é ortogonal a ela, então seu produto escalar com os uns, a soma, é zero0 / 400 caracteres

Modo matemáticaEntrada por teclado ou LaTeXTarefa 1 de 7 · Ctrl ⏎ para verificar

Mínimos quadrados e equações normais

Mais equações do que incógnitas

Lab: o que é avaliado

Entre para executar o seu código.

Mínimos quadrados e equações normais

Mais equações do que incógnitas

Lab: o que é avaliado

Entre para executar o seu código.