Redução de dimensão com PCA e PCA com kernel

Menos números que mantêm a história

As ações se movem juntas, então 54 séries mensais de retornos contêm bem menos que 54 informações independentes. A análise de componentes principais, PCA, acha eixos novos, os componentes principais, ordenados pela parte da variância que carregam. O primeiro eixo aponta na direção de maior dispersão, o segundo é perpendicular a ele e carrega o próximo maior, e assim por diante. Em termos da matriz de covariância, os eixos são seus autovetores e as variâncias ao longo deles seus autovalores. A parcela de variância do componente $k$ é $\lambda_k/\sum_j\lambda_j$ . Manter os primeiros componentes dá uma descrição curta dos dados com perda pequena.

\Sigma v_k=\lambda_k v_k,\qquad r_k=\frac{\lambda_k}{\sum_j\lambda_j},\qquad k(x,y)=e^{-\gamma\|x-y\|^{2}}

(1)

O PCA trabalha com dados centrados e variáveis de escalas comparáveis, então padronize primeiro. Seus eixos são lineares, o que combina com o mercado porque a maioria das ações compartilha um movimento comum. O PCA com kernel faz PCA num espaço construído por um kernel como o RBF $e^{-\gamma d^{2}}$ , que pontua quão perto estão dois pontos, então pode seguir estruturas curvas. Valem dois avisos. Um componente mistura todas as entradas, então nomeá-lo é adivinhação. E os primeiros componentes são as maiores fontes de variância, não as mais preditivas. Em finanças o primeiro componente é o mercado, os seguintes são setores, e um modelo ajustado em componentes ainda deve ser verificado em dados posteriores.

Um exemplo 2 por 2 e 54 açõesTome a matriz de covariância

\begin{pmatrix}2&1\\1&2\end{pmatrix}

. Seus autovalores são

3

1

, então o primeiro componente carrega

3/(3+1)=75\%

da variância e o segundo

25\%

. O primeiro eixo é

(1,1)/\sqrt2

. O ponto

(1,1)

se projeta nele em

(1+1)/\sqrt2=1{,}414

, enquanto

(1,-1)

se projeta em

0

e é perdido por um modelo de um componente, com erro ao quadrado de

2

. Para o kernel RBF com

\gamma=0{,}5

e distância ao quadrado

2

, a similaridade é

e^{-1}=0{,}368

. Nos

319

retornos mensais das

54

ações reais, o primeiro componente carrega

29{,}5\%

da variância, o segundo

8{,}4\%

e o terceiro

5{,}5\%

. São necessários

22

componentes para chegar a

80\%

32

para

90\%

, então uma descrição curta economiza

32

dos

54

números no nível de

80\%

Eixos por variância: o primeiro componente é a direção de maior dispersão, cada seguinte é perpendicular.
Padronize primeiro: o PCA segue a variância, então uma variável de números grandes dominaria.
Variância não é previsão: os maiores componentes não são necessariamente os úteis.

Lab: o que é avaliado

A parcela do primeiro componente15 pts
Uma projeção10 pts
Um erro de reconstrução10 pts
Um valor de kernel RBF10 pts
Números economizados5 pts
Por que padronizar antes do PCA10 pts
Os passos do PCA10 pts
Associar o vocabulário15 pts
Um componente grande não é um útil15 pts

Menos números que mantêm a história

\Sigma v_k=\lambda_k v_k,\qquad r_k=\frac{\lambda_k}{\sum_j\lambda_j},\qquad k(x,y)=e^{-\gamma\|x-y\|^{2}}

(1)

Um exemplo 2 por 2 e 54 açõesTome a matriz de covariância

\begin{pmatrix}2&1\\1&2\end{pmatrix}

. Seus autovalores são

3

1

, então o primeiro componente carrega

3/(3+1)=75\%

da variância e o segundo

25\%

. O primeiro eixo é

(1,1)/\sqrt2

. O ponto

(1,1)

se projeta nele em

(1+1)/\sqrt2=1{,}414

, enquanto

(1,-1)

se projeta em

0

e é perdido por um modelo de um componente, com erro ao quadrado de

2

. Para o kernel RBF com

\gamma=0{,}5

e distância ao quadrado

2

, a similaridade é

e^{-1}=0{,}368

. Nos

319

retornos mensais das

54

ações reais, o primeiro componente carrega

29{,}5\%

da variância, o segundo

8{,}4\%

e o terceiro

5{,}5\%

. São necessários

22

componentes para chegar a

80\%

32

para

90\%

, então uma descrição curta economiza

32

dos

54

números no nível de

80\%

Eixos por variância: o primeiro componente é a direção de maior dispersão, cada seguinte é perpendicular.
Padronize primeiro: o PCA segue a variância, então uma variável de números grandes dominaria.
Variância não é previsão: os maiores componentes não são necessariamente os úteis.

Lab: o que é avaliado

A parcela do primeiro componente15 pts
Uma projeção10 pts
Um erro de reconstrução10 pts
Um valor de kernel RBF10 pts
Números economizados5 pts
Por que padronizar antes do PCA10 pts
Os passos do PCA10 pts
Associar o vocabulário15 pts
Um componente grande não é um útil15 pts

Redução de dimensão com PCA e PCA com kernel

Menos números que mantêm a história

Lab: o que é avaliado

Entre para executar o seu código.

Redução de dimensão com PCA e PCA com kernel

Menos números que mantêm a história

Lab: o que é avaliado

Entre para executar o seu código.