Multicolinéarité et régularisation

Des prédicteurs qui disent la même chose

Quand deux régresseurs évoluent presque ensemble, comme le momentum d'une action sur 6 et sur 12 mois, la régression ne peut pas dire lequel mérite le crédit. C'est la multicolinéarité. L'ajustement peut rester bon, mais les coefficients individuels deviennent instables : un petit changement des données peut faire monter l'un et descendre l'autre, et leurs erreurs types explosent. Le facteur d'inflation de la variance du régresseur $j$ est $\mathrm{VIF}_j=\dfrac{1}{1-R_j^2}$ , où $R_j^2$ vient de la régression de ce régresseur sur tous les autres. Un VIF supérieur à 5 ou 10 est un signal d'alerte.

\hat{\boldsymbol\beta}_{\text{ridge}}=(X^{T}X+\lambda I)^{-1}X^{T}\mathbf{y},\qquad \hat{\boldsymbol\beta}_{\text{lasso}}=\arg\min\ \|\mathbf{y}-X\boldsymbol\beta\|^{2}+\lambda\|\boldsymbol\beta\|_{1}

(1)

La régularisation corrige l'instabilité en ajoutant une pénalité sur la taille des coefficients. Ridge (L2) ajoute $\lambda\|\boldsymbol\beta\|^2$ : la solution est l'ordinaire avec $\lambda I$ ajouté à $X^{T}X$ , ce qui conditionne bien la matrice (à relier à la compétence d'algèbre linéaire) et rétrécit chaque coefficient vers zéro. Lasso (L1) ajoute $\lambda\|\boldsymbol\beta\|_1$ et peut annuler exactement certains coefficients, ce qui sélectionne des prédicteurs. Les deux échangent un peu de biais contre une forte baisse de variance, et $\lambda$ se choisit par validation croisée, le sujet suivant.

Chiffres pour des prédicteurs corrélésSi la régression du prédicteur

j

sur les autres donne

R_j^2=0{,}9

, alors

\mathrm{VIF}_j=1/(1-0{,}9)=10

: son erreur type est

\sqrt{10}\approx3{,}2

fois plus grande qu'avec des prédicteurs non corrélés. Inversement,

\mathrm{VIF}=5

signifie

R_j^2=0{,}8

. Avec

X^{T}X=\begin{pmatrix}4&3\\3&4\end{pmatrix}

, ridge avec

\lambda=1

utilise

\begin{pmatrix}5&3\\3&5\end{pmatrix}

. En dimension un avec

X^{T}X=4

X^{T}y=8

, les MCO donnent

\hat\beta=2

alors que ridge avec

\lambda=4

donne

8/(4+4)=1

: la pénalité divise le coefficient par deux.

Multicolinéarité : coefficients instables et erreurs types gonflées, prédictions souvent encore bonnes.
Ridge : rétrécit tous les coefficients, jamais exactement à zéro. Lasso : peut annuler exactement des coefficients.
Choisissez la pénalité $\lambda$ par validation croisée, jamais en regardant l'ajustement d'entraînement.

Ne lisez pas un coefficient quand son jumeau est dans le modèleAvec deux facteurs quasi doublons, chaque coefficient pris seul n'est pas interprétable : un grand positif et un grand négatif peuvent s'annuler pour donner une somme raisonnable. Jugez la paire ensemble, supprimez ou combinez l'un des deux, ou régularisez. Les prédictions du modèle peuvent rester bonnes, car la combinaison est bien déterminée même quand chaque partie ne l'est pas.

Lab : ce qui est noté

Un facteur d'inflation de la variance15 pts
Du VIF au R carré10 pts
La matrice ridge15 pts
Un coefficient rétréci15 pts
Quelle pénalité sélectionne des variables15 pts
Ce que fait la colinéarité15 pts
Pourquoi ridge aide15 pts

Des prédicteurs qui disent la même chose

\hat{\boldsymbol\beta}_{\text{ridge}}=(X^{T}X+\lambda I)^{-1}X^{T}\mathbf{y},\qquad \hat{\boldsymbol\beta}_{\text{lasso}}=\arg\min\ \|\mathbf{y}-X\boldsymbol\beta\|^{2}+\lambda\|\boldsymbol\beta\|_{1}

(1)

Chiffres pour des prédicteurs corrélésSi la régression du prédicteur

j

sur les autres donne

R_j^2=0{,}9

, alors

\mathrm{VIF}_j=1/(1-0{,}9)=10

: son erreur type est

\sqrt{10}\approx3{,}2

fois plus grande qu'avec des prédicteurs non corrélés. Inversement,

\mathrm{VIF}=5

signifie

R_j^2=0{,}8

. Avec

X^{T}X=\begin{pmatrix}4&3\\3&4\end{pmatrix}

, ridge avec

\lambda=1

utilise

\begin{pmatrix}5&3\\3&5\end{pmatrix}

. En dimension un avec

X^{T}X=4

X^{T}y=8

, les MCO donnent

\hat\beta=2

alors que ridge avec

\lambda=4

donne

8/(4+4)=1

: la pénalité divise le coefficient par deux.

Multicolinéarité : coefficients instables et erreurs types gonflées, prédictions souvent encore bonnes.
Ridge : rétrécit tous les coefficients, jamais exactement à zéro. Lasso : peut annuler exactement des coefficients.
Choisissez la pénalité $\lambda$ par validation croisée, jamais en regardant l'ajustement d'entraînement.

Lab : ce qui est noté

Un facteur d'inflation de la variance15 pts
Du VIF au R carré10 pts
La matrice ridge15 pts
Un coefficient rétréci15 pts
Quelle pénalité sélectionne des variables15 pts
Ce que fait la colinéarité15 pts
Pourquoi ridge aide15 pts

Multicolinéarité et régularisation

Des prédicteurs qui disent la même chose

Lab : ce qui est noté

Connectez-vous pour exécuter votre code.

Multicolinéarité et régularisation

Des prédicteurs qui disent la même chose

Lab : ce qui est noté

Connectez-vous pour exécuter votre code.