スペクトル定理

対称行列が扱いやすい理由

一般の行列は複素固有値や直交しない固有ベクトルを持ちえますが、実対称行列 $A=A^{T}$ はそうなりません。スペクトル定理は、そのような $A$ の固有値がすべて実数であること、異なる固有値の固有ベクトルが直交すること、固有ベクトルからなる正規直交基底を選べることを述べます。それらを $Q$ の列に並べると $A=Q\Lambda Q^{T}$ （ $Q^{T}Q=I$ 、 $\Lambda$ は対角）となります。共分散行列はすべて対称なので、この定理がPCAが成り立つ理由です。

A=A^{T}\;\Longrightarrow\;A=Q\Lambda Q^{T}=\sum_i\lambda_i\,\mathbf q_i\mathbf q_i^{T},\qquad A^{k}=Q\Lambda^{k}Q^{T},\qquad \mathbf w^{T}A\mathbf w\ge\lambda_{\min}\lVert\mathbf w\rVert^{2}

(1)

和の形は $A$ を、それぞれが1つの直交方向を伸ばす単純なランク1の部品の積み重ねとして表します。これでべき乗は簡単になり、 $A^{k}=Q\Lambda^{k}Q^{T}$ で、 $A$ の任意の関数は固有値にだけ作用します。対称行列が半正定値（すべての $\mathbf w$ で $\mathbf w^{T}A\mathbf w\ge0$ ）であることと固有値がすべて非負であることは同値で、すべて正なら正定値です。共分散行列 $\Sigma$ の二次形式 $\mathbf w^{T}\Sigma\mathbf w$ は重み $\mathbf w$ のポートフォリオの分散なので負にならず、 $\mathbf w$ の長さの2乗の $\lambda_{\min}$ 倍以上になります。

2×2行列の対角化

A=\begin{pmatrix}2&1\\1&2\end{pmatrix}

を考えます。固有値は3と1で、固有ベクトルは

(1,1)

と

(1,-1)

、内積は

1-1=0

なので直交しています。正規化すると

Q=\frac1{\sqrt2}\begin{pmatrix}1&1\\1&-1\end{pmatrix}

の列になり、どちらも第1成分は

1/\sqrt2\approx0.707

です。すると

A^{3}=Q\,\mathrm{diag}(27,1)\,Q^{T}=\frac12\begin{pmatrix}28&26\\26&28\end{pmatrix}=\begin{pmatrix}14&13\\13&14\end{pmatrix}

と、

A

を3回掛けずに求まります。固有値がどちらも正なので

A

は正定値で、共分散行列になりえます。

スペクトル定理：実対称行列 $A$ は実固有値と正規直交の固有ベクトルを持ち、 $A=Q\Lambda Q^{T}$ 。
定符号性：半正定値は固有値がすべて $\ge0$ 、正定値はすべて $>0$ 。
べき乗と関数： $A^{k}=Q\Lambda^{k}Q^{T}$ 。任意の関数は固有値にだけ適用する。

共分散行列はこの検査に合格しなければならない手作業で、あるいは異なる標本に対するペアごとの推定から組み立てた行列は、対称でも負の固有値を持つことがあります。すると、あるポートフォリオの分散が負だと主張することになり、最適化はそれを喜んで利用します。対称行列の最小固有値が非負であること（丸め誤差用の小さな許容付き）を確かめるのが標準的な検査で、負の固有値を切り捨てるのが標準的な修正です。

ラボ：採点される内容

対称行列の事実15点
大きい方の固有値15点
単位固有ベクトル10点
固有分解によるべき乗20点
有効な共分散行列15点
ポートフォリオ分散の下限15点
PCAが成り立つ理由10点

対称行列が扱いやすい理由

A=A^{T}\;\Longrightarrow\;A=Q\Lambda Q^{T}=\sum_i\lambda_i\,\mathbf q_i\mathbf q_i^{T},\qquad A^{k}=Q\Lambda^{k}Q^{T},\qquad \mathbf w^{T}A\mathbf w\ge\lambda_{\min}\lVert\mathbf w\rVert^{2}

(1)

2×2行列の対角化

A=\begin{pmatrix}2&1\\1&2\end{pmatrix}

を考えます。固有値は3と1で、固有ベクトルは

(1,1)

と

(1,-1)

、内積は

1-1=0

なので直交しています。正規化すると

Q=\frac1{\sqrt2}\begin{pmatrix}1&1\\1&-1\end{pmatrix}

の列になり、どちらも第1成分は

1/\sqrt2\approx0.707

です。すると

A^{3}=Q\,\mathrm{diag}(27,1)\,Q^{T}=\frac12\begin{pmatrix}28&26\\26&28\end{pmatrix}=\begin{pmatrix}14&13\\13&14\end{pmatrix}

と、

A

を3回掛けずに求まります。固有値がどちらも正なので

A

は正定値で、共分散行列になりえます。

スペクトル定理：実対称行列 $A$ は実固有値と正規直交の固有ベクトルを持ち、 $A=Q\Lambda Q^{T}$ 。
定符号性：半正定値は固有値がすべて $\ge0$ 、正定値はすべて $>0$ 。
べき乗と関数： $A^{k}=Q\Lambda^{k}Q^{T}$ 。任意の関数は固有値にだけ適用する。

ラボ：採点される内容

対称行列の事実15点
大きい方の固有値15点
単位固有ベクトル10点
固有分解によるべき乗20点
有効な共分散行列15点
ポートフォリオ分散の下限15点
PCAが成り立つ理由10点

対称行列が扱いやすい理由

ラボ：採点される内容

コードを実行するにはログインしてください。

スペクトル定理

対称行列が扱いやすい理由

ラボ：採点される内容

コードを実行するにはログインしてください。