Corte de autovalores e Marchenko-Pastur

Distinguir autovalores de sinal de ruído

Se os retornos fossem puro ruído sem estrutura, os autovalores de sua matriz de correlação ainda se espalhariam por um intervalo conhecido, o intervalo de Marchenko-Pastur $[\lambda_-,\lambda_+]$ com $\lambda_\pm=(1\pm\sqrt q)^2$ e $q=N/T$ . Esse intervalo é uma régua. Um autovalor da matriz de correlação amostral acima de $\lambda_+$ é maior do que o ruído pode explicar, então reflete um fator comum real. Os autovalores dentro do intervalo são indistinguíveis do ruído: seus autovetores são direções aleatórias que não informam sobre o futuro.

\lambda_i'=\begin{cases}\lambda_i,&\lambda_i>\lambda_+\\[2pt]\bar\lambda_{\mathrm{noise}},&\lambda_i\le\lambda_+\end{cases},\qquad \bar\lambda_{\mathrm{noise}}=\frac{1}{k}\sum_{\lambda_i\le\lambda_+}\lambda_i,\qquad C_{\mathrm{clean}}=Q\Lambda'Q^{T}

(1)

O corte de autovalores age sobre esse veredito. Mantêm-se os autovalores acima de $\lambda_+$ e substituem-se todos os outros pela sua própria média $\bar\lambda_{\mathrm{noise}}$ , o que achata a parte ruidosa do espectro. Usar a média em vez de zero preserva o traço, que numa matriz de correlação é $N$ , e mantém a matriz definida positiva e portanto inversível, o que um otimizador precisa. Depois reconstrói-se $C_{\mathrm{clean}}=Q\Lambda'Q^{T}$ e reescala-se para que sua diagonal seja exatamente 1, porque a substituição altera um pouco a diagonal. Dois refinamentos são comuns. O modo de mercado absorve variância, então o nível de ruído é na verdade $\sigma^2\approx1-\lambda_1/N$ e não 1. E a lei de Marchenko-Pastur supõe observações independentes e caudas finas, então a borda é um guia, não um teste preciso; verifique a matriz limpa fora da amostra.

Quatro ativos, dezesseis observaçõesSuponha

N=4

T=16

, então

q=0{,}25

\lambda_+=(1+0{,}5)^2=2{,}25

. A matriz de correlação amostral tem autovalores

2{,}60;\,0{,}80;\,0{,}40;\,0{,}20

(somam

N=4

). Só

2{,}60

excede

2{,}25

: um autovalor de sinal, o fator comum de mercado. Os outros três são ruído, com média

(0{,}80+0{,}40+0{,}20)/3=0{,}4667

. O espectro limpo é

2{,}60;\,0{,}4667;\,0{,}4667;\,0{,}4667

, que ainda soma 4 e tem menor autovalor

0{,}47

em vez de

0{,}20

, de modo que seu número de condição cai de

13

para cerca de

5{,}6

. Para um problema maior com

q=0{,}4

a borda superior é

(1+\sqrt{0{,}4})^2=2{,}665

Borda: os autovalores acima de $(1+\sqrt q)^2$ são sinal; os dentro do intervalo são ruído.
Corte: substituir os autovalores de ruído pela média, preservando o traço e o caráter definido positivo.
Acabamento: reconstruir $Q\Lambda'Q^{T}$ e reescalar a diagonal para 1; validar sempre fora da amostra.

Uma referência, não um vereditoOs retornos reais têm caudas pesadas e volatilidade que muda no tempo, o que espalha os autovalores de ruído além da borda teórica. Trate

\lambda_+

como um limiar inicial razoável para quantos componentes manter e deixe um teste fora da amostra decidir se a limpeza realmente ajuda. É exatamente isso que o projeto final faz.

Lab: o que é avaliado

A borda superior15 pts
Contar autovalores de sinal10 pts
O valor de substituição15 pts
O traço é preservado10 pts
O algoritmo de corte15 pts
Por que a média15 pts
O que significa um autovalor acima da borda20 pts

Distinguir autovalores de sinal de ruído

\lambda_i'=\begin{cases}\lambda_i,&\lambda_i>\lambda_+\\[2pt]\bar\lambda_{\mathrm{noise}},&\lambda_i\le\lambda_+\end{cases},\qquad \bar\lambda_{\mathrm{noise}}=\frac{1}{k}\sum_{\lambda_i\le\lambda_+}\lambda_i,\qquad C_{\mathrm{clean}}=Q\Lambda'Q^{T}

(1)

Quatro ativos, dezesseis observaçõesSuponha

N=4

T=16

, então

q=0{,}25

\lambda_+=(1+0{,}5)^2=2{,}25

. A matriz de correlação amostral tem autovalores

2{,}60;\,0{,}80;\,0{,}40;\,0{,}20

(somam

N=4

). Só

2{,}60

excede

2{,}25

: um autovalor de sinal, o fator comum de mercado. Os outros três são ruído, com média

(0{,}80+0{,}40+0{,}20)/3=0{,}4667

. O espectro limpo é

2{,}60;\,0{,}4667;\,0{,}4667;\,0{,}4667

, que ainda soma 4 e tem menor autovalor

0{,}47

em vez de

0{,}20

, de modo que seu número de condição cai de

13

para cerca de

5{,}6

. Para um problema maior com

q=0{,}4

a borda superior é

(1+\sqrt{0{,}4})^2=2{,}665

Borda: os autovalores acima de $(1+\sqrt q)^2$ são sinal; os dentro do intervalo são ruído.
Corte: substituir os autovalores de ruído pela média, preservando o traço e o caráter definido positivo.
Acabamento: reconstruir $Q\Lambda'Q^{T}$ e reescalar a diagonal para 1; validar sempre fora da amostra.

Uma referência, não um vereditoOs retornos reais têm caudas pesadas e volatilidade que muda no tempo, o que espalha os autovalores de ruído além da borda teórica. Trate

\lambda_+

como um limiar inicial razoável para quantos componentes manter e deixe um teste fora da amostra decidir se a limpeza realmente ajuda. É exatamente isso que o projeto final faz.

Lab: o que é avaliado

A borda superior15 pts
Contar autovalores de sinal10 pts
O valor de substituição15 pts
O traço é preservado10 pts
O algoritmo de corte15 pts
Por que a média15 pts
O que significa um autovalor acima da borda20 pts

Corte de autovalores e Marchenko-Pastur

Distinguir autovalores de sinal de ruído

Lab: o que é avaliado

Entre para executar o seu código.

Corte de autovalores e Marchenko-Pastur

Distinguir autovalores de sinal de ruído

Lab: o que é avaliado

Entre para executar o seu código.