Multicolinearidade e regularização

Preditores que dizem a mesma coisa

Quando dois regressores se movem quase juntos, como o momentum de uma ação em 6 e em 12 meses, a regressão não consegue dizer qual merece o crédito. É a multicolinearidade. O ajuste pode continuar bom, mas os coeficientes individuais ficam instáveis: uma pequena mudança nos dados pode subir um e descer o outro, e seus erros-padrão explodem. O fator de inflação da variância do regressor $j$ é $\mathrm{VIF}_j=\dfrac{1}{1-R_j^2}$, em que $R_j^2$ vem da regressão desse regressor sobre todos os outros. Um VIF acima de 5 ou 10 é um sinal de alerta.

A regularização corrige a instabilidade acrescentando uma penalização ao tamanho dos coeficientes. O ridge (L2) soma $\lambda\|\boldsymbol\beta\|^2$: a solução é a ordinária com $\lambda I$ somado a $X^{T}X$, o que condiciona bem a matriz (relacione com a habilidade de álgebra linear) e encolhe cada coeficiente para zero. O lasso (L1) soma $\lambda\|\boldsymbol\beta\|_1$ e pode zerar exatamente alguns coeficientes, selecionando preditores. Ambos trocam um pouco de viés por uma grande queda de variância, e $\lambda$ é escolhido por validação cruzada, o próximo tópico.

• Multicolinearidade: coeficientes instáveis e erros-padrão inflados, previsões muitas vezes ainda boas.
• Ridge: encolhe todos os coeficientes, nunca exatamente a zero. Lasso: pode zerar coeficientes exatamente.
• Escolha a penalização $\lambda$ por validação cruzada, nunca olhando o ajuste de treino.

Lab: o que é avaliado

• Um fator de inflação da variância15 pts
• Do VIF ao R quadrado10 pts
• A matriz ridge15 pts
• Um coeficiente encolhido15 pts
• Qual penalização seleciona variáveis15 pts
• O que a colinearidade faz15 pts
• Por que o ridge ajuda15 pts