最小二乗法と正規方程式

スキル上の位置モジュール 4/4 · トピック 1/4

4.1 最小二乗法と正規方程式

—ラボスコア— / 100合計XP—連続日数—

方程式が未知数より多い

回帰では観測が多く係数が少ないため、縦長の $A$ （ $n$ 行 $p$ 列、 $n>p$ ）に対する $A\mathbf{x}=\mathbf{b}$ には厳密解がありません。 $\mathbf{b}$ が列空間にあることはほとんどないからです。最小二乗法は誤差を最小にする $\hat{\mathbf{x}}$ 、つまり $\min_{\mathbf{x}}\|A\mathbf{x}-\mathbf{b}\|^2$ を選びます。幾何的には $A\hat{\mathbf{x}}$ は $\mathbf{b}$ の列空間への射影で、残差 $\mathbf{b}-A\hat{\mathbf{x}}$ は $A$ のすべての列と直交します。

A^{T}A\,\hat{\mathbf{x}}=A^{T}\mathbf{b},\qquad \hat{\mathbf{x}}=(A^{T}A)^{-1}A^{T}\mathbf{b},\qquad \hat{\mathbf{b}}=A\hat{\mathbf{x}}

(1)

残差の直交性 $A^{T}(\mathbf{b}-A\hat{\mathbf{x}})=\mathbf{0}$ を整理すると、上の正規方程式になります。解は常に存在し、 $A$ の列が独立なら一意です（このとき $A^{T}A$ は可逆）。回帰の記法では $A=X$ が回帰変数（切片のために最初の列は1の列）、 $\mathbf{b}=\mathbf{y}$ が被説明変数で、 $\hat{\boldsymbol\beta}=(X^{T}X)^{-1}X^{T}\mathbf{y}$ がOLS係数です。コードでは $X^{T}X$ を逆行列にせず、連立方程式として解きます。

3点に直線をあてはめる点

(0,1)

、

(1,2)

、

(2,2)

に

y=c_0+c_1t

をあてはめます。

A=\begin{pmatrix}1&0\\1&1\\1&2\end{pmatrix}

、

\mathbf{b}=(1,2,2)

なので

A^{T}A=\begin{pmatrix}3&3\\3&5\end{pmatrix}

、

A^{T}\mathbf{b}=(5,6)

。正規方程式

3c_0+3c_1=5

、

3c_0+5c_1=6

から

c_1=0.5

、

c_0=7/6\approx1.167

。あてはめ値は

1.167

、

1.667

、

2.167

、残差は

-0.167

、

0.333

、

-0.167

で、和は0、

t

と直交します。

正規方程式： $A^{T}A\hat{\mathbf{x}}=A^{T}\mathbf{b}$ 。逆行列にせず解く。
残差： $\mathbf{b}-A\hat{\mathbf{x}}$ 。 $A$ のすべての列と直交し、切片の列があれば和は0。
独立な列が一意の答えには必要で、共線な回帰変数は $A^{T}A$ を特異にする。

条件数が2乗になる

A^{T}A

を作ると条件数が2乗になります。

\kappa(A^{T}A)=\kappa(A)^2

。

\kappa(A)=10^{5}

なら正規方程式の

\kappa

は

10^{10}

で、16桁のうち10桁を失います。次のトピックでは、QR分解が

A^{T}A

を一切作らずに同じ問題を解く方法を見ます。

ラボ：採点される内容

正規行列15点
傾き15点
切片15点
誤差の大きさ10点
残差が直交するもの15点
最小二乗あてはめの手順15点
残差の和が0になる理由15点

0/ 7問回答済み

1行列・ベクトル15点未回答

点 $(0,1)$ 、 $(1,2)$ 、 $(2,2)$ に $y=c_0+c_1t$ をあてはめます。 $A=\begin{pmatrix}1&0\\1&1\\1&2\end{pmatrix}$ 、 $\mathbf{b}=(1,2,2)$ です。 $A^{T}A$ を埋めてください。

A^T A =

2数値で答える15点未回答

点 $(0,1)$ 、 $(1,2)$ 、 $(2,2)$ に $y=c_0+c_1t$ をあてはめます。 $A=\begin{pmatrix}1&0\\1&1\\1&2\end{pmatrix}$ 、 $\mathbf{b}=(1,2,2)$ です。 $A^{T}A\mathbf{c}=A^{T}\mathbf{b}$ （ $A^{T}\mathbf{b}=(5,6)$ ）を解いてください。傾き $c_1$ はいくつですか。

c_1 =

許容:± 0.001

3数値で答える15点未回答

点 $(0,1)$ 、 $(1,2)$ 、 $(2,2)$ に $y=c_0+c_1t$ をあてはめます。 $A=\begin{pmatrix}1&0\\1&1\\1&2\end{pmatrix}$ 、 $\mathbf{b}=(1,2,2)$ です。切片 $c_0$ はいくつですか。小数第3位まで答えてください。

c_0 =

許容:± 0.001

4数値で答える10点未回答

点 $(0,1)$ 、 $(1,2)$ 、 $(2,2)$ に $y=c_0+c_1t$ をあてはめます。 $A=\begin{pmatrix}1&0\\1&1\\1&2\end{pmatrix}$ 、 $\mathbf{b}=(1,2,2)$ です。残差は $(-1/6,\ 1/3,\ -1/6)$ です。残差平方和はいくつですか。小数第3位まで答えてください。

SSR =

許容:± 0.001

5選択15点未回答

最小二乗あてはめの残差 $\mathbf{b}-A\hat{\mathbf{x}}$ が直交するものをすべて選んでください。

6手順を並べ替える15点未回答

正規方程式で回帰を当てはめる手順を正しい順に並べてください。

ドラッグして並べ替えます。または項目にフォーカスし、スペースで持ち上げ、矢印キーで移動、スペースで置きます。

1 $A^{T}A$ と $A^{T}\mathbf{b}$ を作る
2あてはめ値 $A\hat{\mathbf{x}}$ と残差を計算する
31の列と回帰変数から $A$ を作る
4 $A^{T}A\mathbf{x}=A^{T}\mathbf{b}$ を解いて係数を求める

7言葉で説明する15点未回答

切片のある回帰では残差の和が0になります。その理由を、直交性を使って2文で述べてください。

採点基準:切片は回帰変数の中の1の列残差はそれと直交するので、1との内積、つまり和は00 / 400文字

数学モードキーボードまたは LaTeX で入力問題1/7 · Ctrl ⏎ で確認

最小二乗法と正規方程式

スキル上の位置モジュール 4/4 · トピック 1/4

4.1 最小二乗法と正規方程式

—ラボスコア— / 100合計XP—連続日数—

方程式が未知数より多い

A^{T}A\,\hat{\mathbf{x}}=A^{T}\mathbf{b},\qquad \hat{\mathbf{x}}=(A^{T}A)^{-1}A^{T}\mathbf{b},\qquad \hat{\mathbf{b}}=A\hat{\mathbf{x}}

(1)

3点に直線をあてはめる点

(0,1)

、

(1,2)

、

(2,2)

に

y=c_0+c_1t

をあてはめます。

A=\begin{pmatrix}1&0\\1&1\\1&2\end{pmatrix}

、

\mathbf{b}=(1,2,2)

なので

A^{T}A=\begin{pmatrix}3&3\\3&5\end{pmatrix}

、

A^{T}\mathbf{b}=(5,6)

。正規方程式

3c_0+3c_1=5

、

3c_0+5c_1=6

から

c_1=0.5

、

c_0=7/6\approx1.167

。あてはめ値は

1.167

、

1.667

、

2.167

、残差は

-0.167

、

0.333

、

-0.167

で、和は0、

t

と直交します。

正規方程式： $A^{T}A\hat{\mathbf{x}}=A^{T}\mathbf{b}$ 。逆行列にせず解く。
残差： $\mathbf{b}-A\hat{\mathbf{x}}$ 。 $A$ のすべての列と直交し、切片の列があれば和は0。
独立な列が一意の答えには必要で、共線な回帰変数は $A^{T}A$ を特異にする。

条件数が2乗になる

A^{T}A

を作ると条件数が2乗になります。

\kappa(A^{T}A)=\kappa(A)^2

。

\kappa(A)=10^{5}

なら正規方程式の

\kappa

は

10^{10}

で、16桁のうち10桁を失います。次のトピックでは、QR分解が

A^{T}A

を一切作らずに同じ問題を解く方法を見ます。

ラボ：採点される内容

正規行列15点
傾き15点
切片15点
誤差の大きさ10点
残差が直交するもの15点
最小二乗あてはめの手順15点
残差の和が0になる理由15点

0/ 7問回答済み

1行列・ベクトル15点未回答

点 $(0,1)$ 、 $(1,2)$ 、 $(2,2)$ に $y=c_0+c_1t$ をあてはめます。 $A=\begin{pmatrix}1&0\\1&1\\1&2\end{pmatrix}$ 、 $\mathbf{b}=(1,2,2)$ です。 $A^{T}A$ を埋めてください。

A^T A =

2数値で答える15点未回答

c_1 =

許容:± 0.001

3数値で答える15点未回答

c_0 =

許容:± 0.001

4数値で答える10点未回答

SSR =

許容:± 0.001

5選択15点未回答

最小二乗あてはめの残差 $\mathbf{b}-A\hat{\mathbf{x}}$ が直交するものをすべて選んでください。

6手順を並べ替える15点未回答

正規方程式で回帰を当てはめる手順を正しい順に並べてください。

ドラッグして並べ替えます。または項目にフォーカスし、スペースで持ち上げ、矢印キーで移動、スペースで置きます。

1 $A^{T}A$ と $A^{T}\mathbf{b}$ を作る
2あてはめ値 $A\hat{\mathbf{x}}$ と残差を計算する
31の列と回帰変数から $A$ を作る
4 $A^{T}A\mathbf{x}=A^{T}\mathbf{b}$ を解いて係数を求める

7言葉で説明する15点未回答

切片のある回帰では残差の和が0になります。その理由を、直交性を使って2文で述べてください。

採点基準:切片は回帰変数の中の1の列残差はそれと直交するので、1との内積、つまり和は00 / 400文字

数学モードキーボードまたは LaTeX で入力問題1/7 · Ctrl ⏎ で確認

最小二乗法と正規方程式

方程式が未知数より多い

ラボ：採点される内容

コードを実行するにはログインしてください。

最小二乗法と正規方程式

方程式が未知数より多い

ラボ：採点される内容

コードを実行するにはログインしてください。