PCAとカーネルPCAによる次元削減

スキル上の位置モジュール 4/4 · トピック 2/4

4.2 PCAとカーネルPCAによる次元削減

—ラボスコア— / 100合計XP—連続日数—

物語を保つ少ない数

株式は一緒に動くので、54本の月次リターン系列は、独立な情報54個分よりずっと少ない情報しか持ちません。主成分分析（PCA）は、データの分散のうちどれだけを担うかで並べた新しい軸（主成分）を見つけます。第1軸は最もばらつく方向を向き、第2軸はそれに垂直で次に大きい分散を担い、以下同様です。共分散行列で言えば、軸は固有ベクトル、軸方向の分散は固有値です。成分 $k$ の分散の割合は $\lambda_k/\sum_j\lambda_j$ です。最初の数個の成分を残せば、小さな損失でデータを短く記述できます。

\Sigma v_k=\lambda_k v_k,\qquad r_k=\frac{\lambda_k}{\sum_j\lambda_j},\qquad k(x,y)=e^{-\gamma\|x-y\|^{2}}

(1)

PCAは中心化したデータと、スケールが同程度の特徴量で動くので、まず標準化します。軸は線形で、ほとんどの株式が共通の動きを共有する市場には合っています。カーネルPCAは、2点がどれだけ近いかを表すRBFカーネル $e^{-\gamma d^{2}}$ のようなカーネルが作る空間でPCAを行い、曲がった構造にも追随できます。注意が2つあります。成分はすべての入力の混合なので、名前を付けるのは推測です。また、先頭の成分は分散の最大の源であって、最も予測に役立つものではありません。金融では第1成分が市場、次のいくつかがセクターで、成分で当てはめたモデルも後のデータで検証する必要があります。

2×2の例と54銘柄共分散行列

\begin{pmatrix}2&1\\1&2\end{pmatrix}

を考えます。固有値は

3

と

1

なので、第1成分が分散の

3/(3+1)=75\%

、第2成分が

25\%

を担います。第1軸は

(1,1)/\sqrt2

で、点

(1,1)

はその上で

(1+1)/\sqrt2=1.414

に射影され、点

(1,-1)

は

0

に射影されて、1成分のモデルでは失われ、2乗誤差は

2

です。

\gamma=0.5

、2乗距離

2

のRBFカーネルの類似度は

e^{-1}=0.368

です。実在の

54

銘柄の月次リターン

319

か月分では、第1成分が分散の

29.5\%

、第2成分が

8.4\%

、第3成分が

5.5\%

を担います。

80\%

に達するには

22

成分、

90\%

には

32

成分が必要なので、

80\%

の水準では

54

個の数のうち

32

個を節約できます。

分散の順の軸：第1成分は最もばらつく方向で、以降は互いに垂直。
先に標準化：PCAは分散を追うので、数値の大きい特徴量が支配してしまう。
分散は予測ではない：最大の成分が必ずしも役に立つとは限らない。

ラボ：採点される内容

第1成分の割合15点
射影10点
再構成誤差10点
RBFカーネルの値10点
節約できる数5点
なぜPCAの前に標準化するのか10点
PCAの手順10点
用語を結び付ける15点
大きな成分は有用とは限らない15点

0/ 9問回答済み

1数値で答える15点未回答

共分散行列の固有値が $3$ と $1$ です。第1成分が担う分散の割合はいくつですか。小数第2位までの割合で答えてください。

r =

許容:± 0.005

2数値で答える10点未回答

第1軸は $(1,1)/\sqrt2$ です。点 $(1,1)$ のその軸上の座標 $(1+1)/\sqrt2$ はいくつですか。小数第3位まで答えてください。

p =

許容:± 0.003

3数値で答える10点未回答

点 $(1,-1)$ は第1軸上で $0$ に射影されるので、1成分のモデルは $(0,0)$ として再構成します。2乗の再構成誤差はいくつですか。

e =

許容:± 0.01

4数値で答える10点未回答

RBFカーネルは $e^{-\gamma d^{2}}$ です。 $\gamma=0.5$ 、2乗距離 $d^{2}=2$ のとき類似度はいくつですか。小数第3位まで答えてください。

k =

許容:± 0.002

5数値で答える5点未回答

実在の $54$ 銘柄では、 $22$ 成分が分散の $80\%$ を担います。その $22$ 個だけ残すと、 $54$ 個の数のうち何個を節約できますか。

s =

許容:± 0.01

6選択10点未回答

出来高のドル（百万単位）の特徴量と月次リターン（パーセント）の特徴量を、スケーリングせずにPCAへ渡します。何が起きますか。

7手順を並べ替える10点未回答

PCAの手順を正しい順に並べてください。

ドラッグして並べ替えます。または項目にフォーカスし、スペースで持ち上げ、矢印キーで移動、スペースで置きます。

1データを最初の数軸に射影する
2特徴量を中心化し標準化する
3固有値で軸を並べ、最大のものを残す
4共分散行列の固有ベクトルと固有値を求める

8対応づけ15点未回答

各用語をその意味に結び付けてください。

左の各項目に対応するものを選んでください。

主成分

固有値

カーネル

負荷量

9言葉で説明する15点未回答

$54$ 銘柄の第1成分は市場で、分散の $29.5\%$ を担います。1〜2文で、だからといって、それがリターン予測に最も役立つ成分だとは限らない理由を説明してください。

採点基準:PCAは成分を分散で並べるだけで、将来のリターンをどれだけ予測できるかは何も示さない市場の動きは全株式に共通なので、ある銘柄を別の銘柄より上に順位付けできず、有用なシグナルは小さな成分にあるかもしれない0 / 400文字

数学モードキーボードまたは LaTeX で入力問題1/9 · Ctrl ⏎ で確認

PCAとカーネルPCAによる次元削減

スキル上の位置モジュール 4/4 · トピック 2/4

4.2 PCAとカーネルPCAによる次元削減

—ラボスコア— / 100合計XP—連続日数—

物語を保つ少ない数

\Sigma v_k=\lambda_k v_k,\qquad r_k=\frac{\lambda_k}{\sum_j\lambda_j},\qquad k(x,y)=e^{-\gamma\|x-y\|^{2}}

(1)

2×2の例と54銘柄共分散行列

\begin{pmatrix}2&1\\1&2\end{pmatrix}

を考えます。固有値は

3

と

1

なので、第1成分が分散の

3/(3+1)=75\%

、第2成分が

25\%

を担います。第1軸は

(1,1)/\sqrt2

で、点

(1,1)

はその上で

(1+1)/\sqrt2=1.414

に射影され、点

(1,-1)

は

0

に射影されて、1成分のモデルでは失われ、2乗誤差は

2

です。

\gamma=0.5

、2乗距離

2

のRBFカーネルの類似度は

e^{-1}=0.368

です。実在の

54

銘柄の月次リターン

319

か月分では、第1成分が分散の

29.5\%

、第2成分が

8.4\%

、第3成分が

5.5\%

を担います。

80\%

に達するには

22

成分、

90\%

には

32

成分が必要なので、

80\%

の水準では

54

個の数のうち

32

個を節約できます。

分散の順の軸：第1成分は最もばらつく方向で、以降は互いに垂直。
先に標準化：PCAは分散を追うので、数値の大きい特徴量が支配してしまう。
分散は予測ではない：最大の成分が必ずしも役に立つとは限らない。

ラボ：採点される内容

第1成分の割合15点
射影10点
再構成誤差10点
RBFカーネルの値10点
節約できる数5点
なぜPCAの前に標準化するのか10点
PCAの手順10点
用語を結び付ける15点
大きな成分は有用とは限らない15点

0/ 9問回答済み

1数値で答える15点未回答

共分散行列の固有値が $3$ と $1$ です。第1成分が担う分散の割合はいくつですか。小数第2位までの割合で答えてください。

r =

許容:± 0.005

2数値で答える10点未回答

第1軸は $(1,1)/\sqrt2$ です。点 $(1,1)$ のその軸上の座標 $(1+1)/\sqrt2$ はいくつですか。小数第3位まで答えてください。

p =

許容:± 0.003

3数値で答える10点未回答

点 $(1,-1)$ は第1軸上で $0$ に射影されるので、1成分のモデルは $(0,0)$ として再構成します。2乗の再構成誤差はいくつですか。

e =

許容:± 0.01

4数値で答える10点未回答

RBFカーネルは $e^{-\gamma d^{2}}$ です。 $\gamma=0.5$ 、2乗距離 $d^{2}=2$ のとき類似度はいくつですか。小数第3位まで答えてください。

k =

許容:± 0.002

5数値で答える5点未回答

実在の $54$ 銘柄では、 $22$ 成分が分散の $80\%$ を担います。その $22$ 個だけ残すと、 $54$ 個の数のうち何個を節約できますか。

s =

許容:± 0.01

6選択10点未回答

出来高のドル（百万単位）の特徴量と月次リターン（パーセント）の特徴量を、スケーリングせずにPCAへ渡します。何が起きますか。

7手順を並べ替える10点未回答

PCAの手順を正しい順に並べてください。

ドラッグして並べ替えます。または項目にフォーカスし、スペースで持ち上げ、矢印キーで移動、スペースで置きます。

1データを最初の数軸に射影する
2特徴量を中心化し標準化する
3固有値で軸を並べ、最大のものを残す
4共分散行列の固有ベクトルと固有値を求める

8対応づけ15点未回答

各用語をその意味に結び付けてください。

左の各項目に対応するものを選んでください。

主成分

固有値

カーネル

負荷量

9言葉で説明する15点未回答

数学モードキーボードまたは LaTeX で入力問題1/9 · Ctrl ⏎ で確認

PCAとカーネルPCAによる次元削減

物語を保つ少ない数

ラボ：採点される内容

コードを実行するにはログインしてください。

PCAとカーネルPCAによる次元削減

物語を保つ少ない数

ラボ：採点される内容

コードを実行するにはログインしてください。