最小二乘与正规方程

路线进度模块 4/4 · 主题 1/4

4.1 最小二乘与正规方程

—实验得分— / 100总 XP—连续天数—

方程多于未知数

回归有很多观测而系数很少： $A$ 是高瘦矩阵（ $n$ 行 $p$ 列， $n>p$ ）时， $A\mathbf{x}=\mathbf{b}$ 没有精确解，因为 $\mathbf{b}$ 几乎从不落在列空间中。最小二乘选取使误差最小的 $\hat{\mathbf{x}}$ ，即 $\min_{\mathbf{x}}\|A\mathbf{x}-\mathbf{b}\|^2$ 。几何上， $A\hat{\mathbf{x}}$ 是 $\mathbf{b}$ 在列空间上的投影，所以残差 $\mathbf{b}-A\hat{\mathbf{x}}$ 与 $A$ 的每一列正交。

A^{T}A\,\hat{\mathbf{x}}=A^{T}\mathbf{b},\qquad \hat{\mathbf{x}}=(A^{T}A)^{-1}A^{T}\mathbf{b},\qquad \hat{\mathbf{b}}=A\hat{\mathbf{x}}

(1)

残差的正交性 $A^{T}(\mathbf{b}-A\hat{\mathbf{x}})=\mathbf{0}$ 整理后就是上面的正规方程。它总有解，且当 $A$ 的列线性无关时解唯一（此时 $A^{T}A$ 可逆）。用回归记号， $A=X$ 是回归变量（第一列为全 1 的截距列）， $\mathbf{b}=\mathbf{y}$ 是响应变量， $\hat{\boldsymbol\beta}=(X^{T}X)^{-1}X^{T}\mathbf{y}$ 是 OLS 系数。写代码时仍然是解方程组，而不是对 $X^{T}X$ 求逆。

用直线拟合三个点用

y=c_0+c_1t

拟合点

(0,1)

、

(1,2)

、

(2,2)

。这时

A=\begin{pmatrix}1&0\\1&1\\1&2\end{pmatrix}

，

\mathbf{b}=(1,2,2)

，于是

A^{T}A=\begin{pmatrix}3&3\\3&5\end{pmatrix}

，

A^{T}\mathbf{b}=(5,6)

。正规方程

3c_0+3c_1=5

、

3c_0+5c_1=6

给出

c_1=0.5

，

c_0=7/6\approx1.167

。拟合值为

1.167

、

1.667

、

2.167

，残差为

-0.167

、

0.333

、

-0.167

：它们之和为零，并与

t

正交。

正规方程： $A^{T}A\hat{\mathbf{x}}=A^{T}\mathbf{b}$ ；求解而不是求逆。
残差： $\mathbf{b}-A\hat{\mathbf{x}}$ ，与 $A$ 的每一列正交；有截距列时其和为零。
唯一解需要线性无关的列；共线的回归变量会使 $A^{T}A$ 奇异。

条件数被平方构造

A^{T}A

会把条件数平方：

\kappa(A^{T}A)=\kappa(A)^2

。若

\kappa(A)=10^{5}

，正规方程的

\kappa

就是

10^{10}

，十六位数字会损失十位。下一主题展示 QR 如何不构造

A^{T}A

就解决同样的问题。

实验：评分内容

正规矩阵15 分
斜率15 分
截距15 分
误差的大小10 分
残差与什么正交15 分
最小二乘拟合的步骤15 分
为什么残差之和为零15 分

0/ 已答 7 题

1矩阵 · 向量15 分未作答

用 $y=c_0+c_1t$ 拟合点 $(0,1)$ 、 $(1,2)$ 、 $(2,2)$ ，其中 $A=\begin{pmatrix}1&0\\1&1\\1&2\end{pmatrix}$ ， $\mathbf{b}=(1,2,2)$ 。填写 $A^{T}A$ 。

A^T A =

2数值作答15 分未作答

用 $y=c_0+c_1t$ 拟合点 $(0,1)$ 、 $(1,2)$ 、 $(2,2)$ ，其中 $A=\begin{pmatrix}1&0\\1&1\\1&2\end{pmatrix}$ ， $\mathbf{b}=(1,2,2)$ 。解 $A^{T}A\mathbf{c}=A^{T}\mathbf{b}$ ，其中 $A^{T}\mathbf{b}=(5,6)$ 。斜率 $c_1$ 是多少？

c_1 =

允许误差:± 0.001

3数值作答15 分未作答

用 $y=c_0+c_1t$ 拟合点 $(0,1)$ 、 $(1,2)$ 、 $(2,2)$ ，其中 $A=\begin{pmatrix}1&0\\1&1\\1&2\end{pmatrix}$ ， $\mathbf{b}=(1,2,2)$ 。截距 $c_0$ 是多少？保留三位小数。

c_0 =

允许误差:± 0.001

4数值作答10 分未作答

用 $y=c_0+c_1t$ 拟合点 $(0,1)$ 、 $(1,2)$ 、 $(2,2)$ ，其中 $A=\begin{pmatrix}1&0\\1&1\\1&2\end{pmatrix}$ ， $\mathbf{b}=(1,2,2)$ 。残差为 $(-1/6,\ 1/3,\ -1/6)$ 。残差平方和是多少？保留三位小数。

SSR =

允许误差:± 0.001

5选择15 分未作答

最小二乘拟合的残差 $\mathbf{b}-A\hat{\mathbf{x}}$ 与下列哪些正交？选出所有适用项。

6排列步骤15 分未作答

把用正规方程拟合回归的步骤按顺序排好。

拖动以重新排序;也可聚焦某项,按空格抬起,用方向键移动,再按空格放下。

1构造 $A^{T}A$ 和 $A^{T}\mathbf{b}$
2计算拟合值 $A\hat{\mathbf{x}}$ 和残差
3用全 1 列和回归变量构造 $A$
4解 $A^{T}A\mathbf{x}=A^{T}\mathbf{b}$ 得到系数

7用文字解释15 分未作答

带截距的回归中残差之和为零。请用两句话并借助正交性说明原因。

评分依据:截距是回归变量中的全 1 列残差与它正交，所以与全 1 的点积，即残差之和，为零0 / 400 字

数学模式键盘或 LaTeX 输入第 1/7 题 · Ctrl ⏎ 检查

最小二乘与正规方程

路线进度模块 4/4 · 主题 1/4

4.1 最小二乘与正规方程

—实验得分— / 100总 XP—连续天数—

方程多于未知数

A^{T}A\,\hat{\mathbf{x}}=A^{T}\mathbf{b},\qquad \hat{\mathbf{x}}=(A^{T}A)^{-1}A^{T}\mathbf{b},\qquad \hat{\mathbf{b}}=A\hat{\mathbf{x}}

(1)

用直线拟合三个点用

y=c_0+c_1t

拟合点

(0,1)

、

(1,2)

、

(2,2)

。这时

A=\begin{pmatrix}1&0\\1&1\\1&2\end{pmatrix}

，

\mathbf{b}=(1,2,2)

，于是

A^{T}A=\begin{pmatrix}3&3\\3&5\end{pmatrix}

，

A^{T}\mathbf{b}=(5,6)

。正规方程

3c_0+3c_1=5

、

3c_0+5c_1=6

给出

c_1=0.5

，

c_0=7/6\approx1.167

。拟合值为

1.167

、

1.667

、

2.167

，残差为

-0.167

、

0.333

、

-0.167

：它们之和为零，并与

t

正交。

正规方程： $A^{T}A\hat{\mathbf{x}}=A^{T}\mathbf{b}$ ；求解而不是求逆。
残差： $\mathbf{b}-A\hat{\mathbf{x}}$ ，与 $A$ 的每一列正交；有截距列时其和为零。
唯一解需要线性无关的列；共线的回归变量会使 $A^{T}A$ 奇异。

条件数被平方构造

A^{T}A

会把条件数平方：

\kappa(A^{T}A)=\kappa(A)^2

。若

\kappa(A)=10^{5}

，正规方程的

\kappa

就是

10^{10}

，十六位数字会损失十位。下一主题展示 QR 如何不构造

A^{T}A

就解决同样的问题。

实验：评分内容

正规矩阵15 分
斜率15 分
截距15 分
误差的大小10 分
残差与什么正交15 分
最小二乘拟合的步骤15 分
为什么残差之和为零15 分

0/ 已答 7 题

1矩阵 · 向量15 分未作答

用 $y=c_0+c_1t$ 拟合点 $(0,1)$ 、 $(1,2)$ 、 $(2,2)$ ，其中 $A=\begin{pmatrix}1&0\\1&1\\1&2\end{pmatrix}$ ， $\mathbf{b}=(1,2,2)$ 。填写 $A^{T}A$ 。

A^T A =

2数值作答15 分未作答

c_1 =

允许误差:± 0.001

3数值作答15 分未作答

用 $y=c_0+c_1t$ 拟合点 $(0,1)$ 、 $(1,2)$ 、 $(2,2)$ ，其中 $A=\begin{pmatrix}1&0\\1&1\\1&2\end{pmatrix}$ ， $\mathbf{b}=(1,2,2)$ 。截距 $c_0$ 是多少？保留三位小数。

c_0 =

允许误差:± 0.001

4数值作答10 分未作答

SSR =

允许误差:± 0.001

5选择15 分未作答

最小二乘拟合的残差 $\mathbf{b}-A\hat{\mathbf{x}}$ 与下列哪些正交？选出所有适用项。

6排列步骤15 分未作答

把用正规方程拟合回归的步骤按顺序排好。

拖动以重新排序;也可聚焦某项,按空格抬起,用方向键移动,再按空格放下。

1构造 $A^{T}A$ 和 $A^{T}\mathbf{b}$
2计算拟合值 $A\hat{\mathbf{x}}$ 和残差
3用全 1 列和回归变量构造 $A$
4解 $A^{T}A\mathbf{x}=A^{T}\mathbf{b}$ 得到系数

7用文字解释15 分未作答

带截距的回归中残差之和为零。请用两句话并借助正交性说明原因。

评分依据:截距是回归变量中的全 1 列残差与它正交，所以与全 1 的点积，即残差之和，为零0 / 400 字

数学模式键盘或 LaTeX 输入第 1/7 题 · Ctrl ⏎ 检查

最小二乘与正规方程

方程多于未知数

实验：评分内容

登录后即可运行你的代码。

最小二乘与正规方程

方程多于未知数

实验：评分内容

登录后即可运行你的代码。