直角と影 2つのベクトルは内積が0、u ⋅ v = 0 \mathbf{u}\cdot\mathbf{v}=0 u ⋅ v = 0 のとき直交し、直角に交わります。u \mathbf{u} u の長さは ∥ u ∥ = u ⋅ u \|\mathbf{u}\|=\sqrt{\mathbf{u}\cdot\mathbf{u}} ∥ u ∥ = u ⋅ u です。直交性は幾何を計算可能にします。u ⊥ v \mathbf{u}\perp\mathbf{v} u ⊥ v なら三平方の定理 ∥ u + v ∥ 2 = ∥ u ∥ 2 + ∥ v ∥ 2 \|\mathbf{u}+\mathbf{v}\|^2=\|\mathbf{u}\|^2+\|\mathbf{v}\|^2 ∥ u + v ∥ 2 = ∥ u ∥ 2 + ∥ v ∥ 2 が成り立ち、無相関なリターンは平均を引けば直交します。
p = a ⋅ b a ⋅ a a , ( b − p ) ⋅ a = 0 , P = a a T a T a \mathbf{p}=\frac{\mathbf{a}\cdot\mathbf{b}}{\mathbf{a}\cdot\mathbf{a}}\,\mathbf{a},\qquad (\mathbf{b}-\mathbf{p})\cdot\mathbf{a}=0,\qquad P=\frac{\mathbf{a}\mathbf{a}^{T}}{\mathbf{a}^{T}\mathbf{a}} p = a ⋅ a a ⋅ b a , ( b − p ) ⋅ a = 0 , P = a T a a a T (1) b \mathbf{b} b を a \mathbf{a} a の張る直線に射影したものは影 p = c a \mathbf{p}=c\,\mathbf{a} p = c a で、直線上で b \mathbf{b} b に最も近い点です。残り b − p \mathbf{b}-\mathbf{p} b − p は a \mathbf{a} a と直交するので c = a ⋅ b a ⋅ a c=\frac{\mathbf{a}\cdot\mathbf{b}}{\mathbf{a}\cdot\mathbf{a}} c = a ⋅ a a ⋅ b と決まります。射影行列 P P P はすべての b \mathbf{b} b に対してこれを行い、p = P b \mathbf{p}=P\mathbf{b} p = P b 、P T = P P^{T}=P P T = P 、P 2 = P P^2=P P 2 = P (2回射影しても変わらない)です。固有値は0と1だけです。
点を射影する b = ( 3 , 1 ) \mathbf{b}=(3,1) b = ( 3 , 1 ) を
a = ( 1 , 1 ) \mathbf{a}=(1,1) a = ( 1 , 1 ) に射影します。
a ⋅ b = 4 \mathbf{a}\cdot\mathbf{b}=4 a ⋅ b = 4 、
a ⋅ a = 2 \mathbf{a}\cdot\mathbf{a}=2 a ⋅ a = 2 なので
c = 2 c=2 c = 2 、
p = ( 2 , 2 ) \mathbf{p}=(2,2) p = ( 2 , 2 ) 。残りは
b − p = ( 1 , − 1 ) \mathbf{b}-\mathbf{p}=(1,-1) b − p = ( 1 , − 1 ) で、確かに
( 1 , 1 ) ⋅ ( 1 , − 1 ) = 0 (1,1)\cdot(1,-1)=0 ( 1 , 1 ) ⋅ ( 1 , − 1 ) = 0 です。行列は
P = 1 2 ( 1 1 1 1 ) P=\frac{1}{2}\begin{pmatrix}1&1\\1&1\end{pmatrix} P = 2 1 ( 1 1 1 1 ) で、
P b = ( 2 , 2 ) P\mathbf{b}=(2,2) P b = ( 2 , 2 ) です。
直交 :u ⋅ v = 0 \mathbf{u}\cdot\mathbf{v}=0 u ⋅ v = 0 。正規直交 :直交し、各々の長さが1。射影 :部分空間で最も近い点。残りは部分空間と直交する。正規直交な列 (Q T Q = I Q^{T}Q=I Q T Q = I )は長さと角度を保つので、誤差を拡大しない。残差は回帰変数が説明できない部分 回帰では、あてはめ値はデータベクトル y \mathbf{y} y を回帰変数の張る空間に射影したもので、残差はその残りであり、すべての回帰変数と直交します。だから当てはめたモデルでは残差とファクターは無相関になり、∥ y ∥ 2 = ∥ y ^ ∥ 2 + ∥ e ∥ 2 \|\mathbf{y}\|^2=\|\hat{\mathbf{y}}\|^2+\|\mathbf{e}\|^2 ∥ y ∥ 2 = ∥ y ^ ∥ 2 + ∥ e ∥ 2 が分散を説明される部分と説明されない部分に分けるのです。 ラボ:採点される内容 射影係数 15点 射影行列 20点 残りの大きさ 15点 射影行列の性質 15点 直交するペアを見つける 10点 残差と回帰変数 25点