O encolhimento de Ledoit-Wolf

Puxar uma estimativa em direção a algo simples

O corte decide autovalor por autovalor se é sinal. O encolhimento toma um caminho mais suave: misturar a ruidosa matriz amostral $S$ com um alvo simples e bem condicionado $F$ , $\Sigma^{*}=(1-\delta)S+\delta F$ , em que a intensidade $\delta\in[0,1]$ diz quanto confiar no alvo. O alvo clássico é uma identidade escalada $F=\mu I$ com $\mu=\operatorname{tr}(S)/N$ , a variância média: diz que todos os ativos têm a mesma variância e são não correlacionados. Certamente é falso, mas é estável, e um pouco dele cancela muito ruído.

\Sigma^{*}=(1-\delta)S+\delta\mu I,\qquad \mu=\frac{\operatorname{tr}S}{N},\qquad \delta=\min\!\Big(1,\frac{b^{2}}{d^{2}}\Big),\qquad d^{2}=\frac{\lVert S-\mu I\rVert_F^{2}}{N}

(1)

A intensidade não é um parâmetro livre. Ledoit e Wolf mostraram que o melhor $\delta$ para esse alvo tem forma fechada: o numerador $b^2$ mede o quão ruidosa é $S$ (a distância quadrática média das matrizes de um único dia $\mathbf x_t\mathbf x_t^{T}$ até $S$ , dividida por $T$ e limitada por $d^2$ ) e o denominador $d^2$ mede o quão longe $S$ está do alvo. Uma $S$ ruidosa próxima do alvo recebe um $\delta$ grande. O encolhimento tem três propriedades limpas: preserva o traço, aproxima cada autovalor da média ( $\lambda\mapsto(1-\delta)\lambda+\delta\mu$ ), de modo que os grandes diminuem e os pequenos aumentam, e torna $\Sigma^{*}$ definida positiva para qualquer $\delta>0$ , mesmo que $S$ seja singular. À medida que $T$ cresce, o termo de ruído cai e $\delta\to0$ .

Um exemplo 2 por 2Tome

S=\begin{pmatrix}4&1\\1&2\end{pmatrix}

, então

\mu=(4+2)/2=3

S-\mu I=\begin{pmatrix}1&1\\1&-1\end{pmatrix}

com norma de Frobenius ao quadrado 4, logo

d^2=4/2=2

. Se o termo de ruído é

b^2=0{,}5

, a intensidade é

\delta=0{,}5/2=0{,}25

. Com

\delta=0{,}2

em vez disso,

\Sigma^{*}=0{,}8S+0{,}2\cdot3I=\begin{pmatrix}3{,}8&0{,}8\\0{,}8&2{,}2\end{pmatrix}

. Os autovalores de

S

são

3\pm\sqrt2=4{,}414

1{,}586

; os de

\Sigma^{*}

são

0{,}8(4{,}414)+0{,}6=4{,}131

0{,}8(1{,}586)+0{,}6=1{,}869

. O número de condição melhora de

2{,}78

para

2{,}21

Mistura: $\Sigma^{*}=(1-\delta)S+\delta F$ com o alvo $F=\mu I$ , $\mu=\operatorname{tr}S/N$ .
Intensidade: $\delta=\min(1,b^2/d^2)$ ; matrizes ruidosas próximas do alvo são mais encolhidas.
Efeitos: traço preservado, autovalores aproximados da média, definida positiva para todo $\delta>0$ ; $\delta\to0$ quando $T$ cresce.

Um viés de propósitoO encolhimento adiciona viés deliberadamente, porque o alvo é errado, em troca de uma grande redução de variância. O erro quadrático esperado da estimativa cai e, na estimação de covariância com muitos ativos, a troca costuma ser muito favorável. É a mesma barganha viés-variância da regressão ridge, e é o motivo de o Ledoit-Wolf ser o estimador de covariância padrão em muitas bibliotecas.

Lab: o que é avaliado

O nível do alvo10 pts
Uma matriz encolhida20 pts
A intensidade15 pts
Um autovalor encolhido15 pts
O novo número de condição15 pts
Mais dados, menos encolhimento15 pts
A troca viés-variância10 pts

Puxar uma estimativa em direção a algo simples

\Sigma^{*}=(1-\delta)S+\delta\mu I,\qquad \mu=\frac{\operatorname{tr}S}{N},\qquad \delta=\min\!\Big(1,\frac{b^{2}}{d^{2}}\Big),\qquad d^{2}=\frac{\lVert S-\mu I\rVert_F^{2}}{N}

(1)

Um exemplo 2 por 2Tome

S=\begin{pmatrix}4&1\\1&2\end{pmatrix}

, então

\mu=(4+2)/2=3

S-\mu I=\begin{pmatrix}1&1\\1&-1\end{pmatrix}

com norma de Frobenius ao quadrado 4, logo

d^2=4/2=2

. Se o termo de ruído é

b^2=0{,}5

, a intensidade é

\delta=0{,}5/2=0{,}25

. Com

\delta=0{,}2

em vez disso,

\Sigma^{*}=0{,}8S+0{,}2\cdot3I=\begin{pmatrix}3{,}8&0{,}8\\0{,}8&2{,}2\end{pmatrix}

. Os autovalores de

S

são

3\pm\sqrt2=4{,}414

1{,}586

; os de

\Sigma^{*}

são

0{,}8(4{,}414)+0{,}6=4{,}131

0{,}8(1{,}586)+0{,}6=1{,}869

. O número de condição melhora de

2{,}78

para

2{,}21

Mistura: $\Sigma^{*}=(1-\delta)S+\delta F$ com o alvo $F=\mu I$ , $\mu=\operatorname{tr}S/N$ .
Intensidade: $\delta=\min(1,b^2/d^2)$ ; matrizes ruidosas próximas do alvo são mais encolhidas.
Efeitos: traço preservado, autovalores aproximados da média, definida positiva para todo $\delta>0$ ; $\delta\to0$ quando $T$ cresce.

Lab: o que é avaliado

O nível do alvo10 pts
Uma matriz encolhida20 pts
A intensidade15 pts
Um autovalor encolhido15 pts
O novo número de condição15 pts
Mais dados, menos encolhimento15 pts
A troca viés-variância10 pts

Puxar uma estimativa em direção a algo simples

Lab: o que é avaliado

Entre para executar o seu código.

O encolhimento de Ledoit-Wolf

Puxar uma estimativa em direção a algo simples

Lab: o que é avaliado

Entre para executar o seu código.