A covariância amostral e seu ruído

Uma estimativa não viesada que ainda assim está errada

A matriz de covariância amostral $S=\frac1{T-1}X_c^{T}X_c$ é não viesada: em média sobre muitas amostras é igual à $\Sigma$ verdadeira. Isso soa tranquilizador e engana. Uma carteira de $N$ ativos tem $N(N+1)/2$ parâmetros de covariância, que para $N=100$ são 5050, estimados a partir de $T$ observações de $N$ retornos. Quando $N$ não é pequeno frente a $T$, cada entrada é ruidosa e, pior, os autovalores de $S$ ficam sistematicamente espalhados: os grandes grandes demais, os pequenos pequenos demais, mesmo que a verdade tenha todos os autovalores iguais.

Se a covariância verdadeira é a identidade ($\sigma^2=1$, todos os autovalores iguais a 1) e $N,T$ são grandes, os autovalores de $S$ preenchem o intervalo $[\lambda_-,\lambda_+]$ da primeira fórmula, as bordas de Marchenko-Pastur. Com $q=0{,}25$ isso é $[0{,}25;\,2{,}25]$, uma dispersão de nove para um onde a verdade não tem nenhuma. Quando $N>T-1$, $S$ tem posto no máximo $T-1$, então é singular e tem autovalores nulos. Um otimizador de variância mínima é a pior vítima: ele se carrega nas direções em que $S$ mostra menos variância, que são exatamente aquelas em que $S$ mais subestima o risco. Simulações com $\Sigma=I$ mostram que a variância realizada da carteira de variância mínima amostral é cerca de $1/(1-q)^2$ vezes a variância prometida na amostra, e $1/(1-q)$ vezes o mínimo verdadeiro.

• Não viesada mas ruidosa: $E[S]=\Sigma$, mas para $q=N/T$ grande os autovalores de $S$ ficam espalhados.
• Bordas: para uma verdade unitária os autovalores amostrais ficam em $[(1-\sqrt q)^2,(1+\sqrt q)^2]$.
• Posto: para $N>T-1$ a covariância amostral é singular; um otimizador explora seus menores autovalores.

Lab: o que é avaliado

• A borda superior15 pts
• A borda inferior10 pts
• Contar parâmetros10 pts
• O posto máximo10 pts
• Variância realizada versus prometida15 pts
• Por que os otimizadores amplificam o ruído20 pts
• Reduzir o ruído20 pts