Ledoit-Wolf-Schrumpfung

Eine Schätzung zu etwas Einfachem hinziehen

Clipping entscheidet Eigenwert für Eigenwert, ob er Signal ist. Schrumpfung geht sanfter vor: Die verrauschte Stichprobenmatrix $S$ wird mit einem einfachen, gut konditionierten Ziel $F$ gemischt, $\Sigma^{*}=(1-\delta)S+\delta F$ , wobei die Intensität $\delta\in[0,1]$ angibt, wie sehr man dem Ziel traut. Das klassische Ziel ist eine skalierte Einheitsmatrix $F=\mu I$ mit $\mu=\operatorname{tr}(S)/N$ , der durchschnittlichen Varianz: Sie besagt, dass alle Anlagen dieselbe Varianz haben und unkorreliert sind. Das ist sicher falsch, aber stabil, und ein bisschen davon hebt viel Rauschen auf.

\Sigma^{*}=(1-\delta)S+\delta\mu I,\qquad \mu=\frac{\operatorname{tr}S}{N},\qquad \delta=\min\!\Big(1,\frac{b^{2}}{d^{2}}\Big),\qquad d^{2}=\frac{\lVert S-\mu I\rVert_F^{2}}{N}

(1)

Die Intensität ist kein freier Parameter. Ledoit und Wolf zeigten, dass das beste $\delta$ für dieses Ziel eine geschlossene Form hat: Der Zähler $b^2$ misst, wie verrauscht $S$ ist (der mittlere quadrierte Abstand der Einzeltagsmatrizen $\mathbf x_t\mathbf x_t^{T}$ von $S$ , geteilt durch $T$ und durch $d^2$ gedeckelt), und der Nenner $d^2$ misst, wie weit $S$ vom Ziel entfernt ist. Eine verrauschte $S$ nahe ihrem Ziel erhält ein großes $\delta$ . Die Schrumpfung hat drei saubere Eigenschaften: Sie erhält die Spur, sie bewegt jeden Eigenwert zum Mittel ( $\lambda\mapsto(1-\delta)\lambda+\delta\mu$ ), große schrumpfen also und kleine wachsen, und sie macht $\Sigma^{*}$ für jedes $\delta>0$ positiv definit, selbst wenn $S$ singulär ist. Mit wachsendem $T$ sinkt der Rauschterm und $\delta\to0$ .

Ein 2-mal-2-BeispielNehmen Sie

S=\begin{pmatrix}4&1\\1&2\end{pmatrix}

, also

\mu=(4+2)/2=3

und

S-\mu I=\begin{pmatrix}1&1\\1&-1\end{pmatrix}

mit quadrierter Frobenius-Norm 4, daher

d^2=4/2=2

. Ist der Rauschterm

b^2=0{,}5

, so ist die Intensität

\delta=0{,}5/2=0{,}25

. Mit

\delta=0{,}2

stattdessen ist

\Sigma^{*}=0{,}8S+0{,}2\cdot3I=\begin{pmatrix}3{,}8&0{,}8\\0{,}8&2{,}2\end{pmatrix}

. Die Eigenwerte von

S

sind

3\pm\sqrt2=4{,}414

und

1{,}586

, die von

\Sigma^{*}

sind

0{,}8(4{,}414)+0{,}6=4{,}131

und

0{,}8(1{,}586)+0{,}6=1{,}869

. Die Konditionszahl verbessert sich von

2{,}78

auf

2{,}21

Mischung: $\Sigma^{*}=(1-\delta)S+\delta F$ mit dem Ziel $F=\mu I$ , $\mu=\operatorname{tr}S/N$ .
Intensität: $\delta=\min(1,b^2/d^2)$ ; verrauschte Matrizen nahe dem Ziel werden stärker geschrumpft.
Wirkungen: Spur erhalten, Eigenwerte zum Mittel gezogen, positiv definit für jedes $\delta>0$ ; $\delta\to0$ bei wachsendem $T$ .

Absichtlicher BiasDie Schrumpfung fügt absichtlich Bias hinzu, weil das Ziel falsch ist, im Gegenzug für eine große Varianzsenkung. Der erwartete quadratische Fehler der Schätzung sinkt, und bei der Kovarianzschätzung mit vielen Anlagen ist der Tausch meist sehr günstig. Es ist derselbe Bias-Varianz-Handel wie bei der Ridge-Regression, und deshalb ist Ledoit-Wolf in vielen Bibliotheken der Standardschätzer für die Kovarianz.

Lab: Was bewertet wird

Das Zielniveau10 Pkt.
Eine geschrumpfte Matrix20 Pkt.
Die Intensität15 Pkt.
Ein geschrumpfter Eigenwert15 Pkt.
Die neue Konditionszahl15 Pkt.
Mehr Daten, weniger Schrumpfung15 Pkt.
Der Bias-Varianz-Tausch10 Pkt.

Eine Schätzung zu etwas Einfachem hinziehen

\Sigma^{*}=(1-\delta)S+\delta\mu I,\qquad \mu=\frac{\operatorname{tr}S}{N},\qquad \delta=\min\!\Big(1,\frac{b^{2}}{d^{2}}\Big),\qquad d^{2}=\frac{\lVert S-\mu I\rVert_F^{2}}{N}

(1)

Ein 2-mal-2-BeispielNehmen Sie

S=\begin{pmatrix}4&1\\1&2\end{pmatrix}

, also

\mu=(4+2)/2=3

und

S-\mu I=\begin{pmatrix}1&1\\1&-1\end{pmatrix}

mit quadrierter Frobenius-Norm 4, daher

d^2=4/2=2

. Ist der Rauschterm

b^2=0{,}5

, so ist die Intensität

\delta=0{,}5/2=0{,}25

. Mit

\delta=0{,}2

stattdessen ist

\Sigma^{*}=0{,}8S+0{,}2\cdot3I=\begin{pmatrix}3{,}8&0{,}8\\0{,}8&2{,}2\end{pmatrix}

. Die Eigenwerte von

S

sind

3\pm\sqrt2=4{,}414

und

1{,}586

, die von

\Sigma^{*}

sind

0{,}8(4{,}414)+0{,}6=4{,}131

und

0{,}8(1{,}586)+0{,}6=1{,}869

. Die Konditionszahl verbessert sich von

2{,}78

auf

2{,}21

Mischung: $\Sigma^{*}=(1-\delta)S+\delta F$ mit dem Ziel $F=\mu I$ , $\mu=\operatorname{tr}S/N$ .
Intensität: $\delta=\min(1,b^2/d^2)$ ; verrauschte Matrizen nahe dem Ziel werden stärker geschrumpft.
Wirkungen: Spur erhalten, Eigenwerte zum Mittel gezogen, positiv definit für jedes $\delta>0$ ; $\delta\to0$ bei wachsendem $T$ .

Lab: Was bewertet wird

Das Zielniveau10 Pkt.
Eine geschrumpfte Matrix20 Pkt.
Die Intensität15 Pkt.
Ein geschrumpfter Eigenwert15 Pkt.
Die neue Konditionszahl15 Pkt.
Mehr Daten, weniger Schrumpfung15 Pkt.
Der Bias-Varianz-Tausch10 Pkt.

Eine Schätzung zu etwas Einfachem hinziehen

Lab: Was bewertet wird

Melde dich an, um deinen Code auszuführen.

Ledoit-Wolf-Schrumpfung

Eine Schätzung zu etwas Einfachem hinziehen

Lab: Was bewertet wird

Melde dich an, um deinen Code auszuführen.