Diagnostics des résidus VIF et Durbin–Watson

Vérifier les hypothèses avant de croire les étoiles

Les erreurs standard d'un résumé de régression ne sont justes que si trois choses tiennent : les résidus ne sont pas corrélés entre eux, leur dispersion ne change pas dans le temps, et les régresseurs ne sont pas presque des copies les uns des autres. statsmodels fournit un test pour chacune. La statistique de Durbin–Watson regarde les résidus voisins. Le facteur d'inflation de la variance, VIF, regarde à quel point chaque régresseur peut être reconstruit à partir des autres. Le test de Breusch–Pagan demande si la dispersion des résidus dépend des régresseurs, et le test de Jarque–Bera si l'asymétrie et les queues épaisses sont assez fortes pour compter. Un mauvais résultat ne rend pas les coefficients inutiles, il dit quelles erreurs standard mettre en doute.

\mathrm{DW}=\frac{\sum_{t=2}^{n}(e_t-e_{t-1})^{2}}{\sum_{t=1}^{n}e_t^{2}}\approx2(1-\hat\rho_1),\qquad \mathrm{VIF}_j=\frac{1}{1-R_j^{2}},\qquad \mathrm{se}_j\propto\sqrt{\mathrm{VIF}_j}

(1)

Des résidus et deux régresseurs corrélésPrenons les résidus

-0{,}4;0{,}8;0;-0{,}8;0{,}4

de l'ajustement sur cinq mois. Les différences entre voisins sont

1{,}2;-0{,}8;-0{,}8;1{,}2

, leurs carrés totalisent

4{,}16

\sum e_t^2=1{,}6

, donc

\mathrm{DW}=2{,}6

\hat\rho_1\approx1-2{,}6/2=-0{,}3

: les résidus ont tendance à changer de signe. Une valeur proche de

2

signifie pas de corrélation d'ordre un, proche de

0

corrélation positive, proche de

4

négative. Si deux régresseurs ont une corrélation de

0{,}9

, chacun est expliqué par l'autre avec

R_j^2=0{,}81

\mathrm{VIF}=1/0{,}19=5{,}26

. Avec une corrélation de

0{,}99

le VIF vaut environ

50

, et avec

R_j^2=0{,}99

il vaut

100

, ce qui étire les erreurs standard de

\sqrt{100}=10

. Sur données réelles, la régression à trois facteurs d'Apple (

258

mois depuis mars 2005) a

\mathrm{DW}=1{,}94

et une p-valeur de Breusch–Pagan de

0{,}21

, donc peu d'inquiétude, même si Jarque–Bera rejette la normalité (

p=0{,}015

, kurtosis

3{,}8

). Ajoutons maintenant le rendement excédentaire du fonds SPY à côté du facteur marché : leur corrélation est de

0{,}994

, les deux VIF montent à

82{,}9

, l'erreur standard de l'exposition au marché passe de

0{,}10

0{,}91

et son estimation devient

-0{,}23

alors que

R^2

bouge à peine (

0{,}347

). Enfin, régressons log HD sur log LOW sur

6\,696

jours :

R^2=0{,}93

mais

\mathrm{DW}=0{,}002

. Un DW très inférieur à

R^2

avertit que deux prix tendanciels sont appariés par hasard.

Une alerte n'est pas un verdictChaque diagnostic vise une hypothèse. Corrigez le problème correspondant : erreurs standard robustes pour des résidus corrélés ou inégaux (sujet suivant), suppression ou combinaison des régresseurs colinéaires, ou différenciation des séries tendancielles.

Durbin–Watson proche de 2 est sain, proche de 0 ou de 4 signifie que les résidus voisins sont liés.
VIF au-dessus d'environ 10 signifie que les régresseurs s'emmêlent et que les statistiques t individuelles ne sont pas fiables.
Un $R^2$ élevé avec un DW minuscule est le signe classique d'une régression entre séries tendancielles.

Lab : ce qui est noté

Une statistique de Durbin–Watson20 pts
L'autocorrélation impliquée10 pts
Un facteur d'inflation de la variance20 pts
De combien une erreur standard s'étire20 pts
Associer les diagnostics10 pts
Des régresseurs colinéaires20 pts

Vérifier les hypothèses avant de croire les étoiles

\mathrm{DW}=\frac{\sum_{t=2}^{n}(e_t-e_{t-1})^{2}}{\sum_{t=1}^{n}e_t^{2}}\approx2(1-\hat\rho_1),\qquad \mathrm{VIF}_j=\frac{1}{1-R_j^{2}},\qquad \mathrm{se}_j\propto\sqrt{\mathrm{VIF}_j}

(1)

Des résidus et deux régresseurs corrélésPrenons les résidus

-0{,}4;0{,}8;0;-0{,}8;0{,}4

de l'ajustement sur cinq mois. Les différences entre voisins sont

1{,}2;-0{,}8;-0{,}8;1{,}2

, leurs carrés totalisent

4{,}16

\sum e_t^2=1{,}6

, donc

\mathrm{DW}=2{,}6

\hat\rho_1\approx1-2{,}6/2=-0{,}3

: les résidus ont tendance à changer de signe. Une valeur proche de

2

signifie pas de corrélation d'ordre un, proche de

0

corrélation positive, proche de

4

négative. Si deux régresseurs ont une corrélation de

0{,}9

, chacun est expliqué par l'autre avec

R_j^2=0{,}81

\mathrm{VIF}=1/0{,}19=5{,}26

. Avec une corrélation de

0{,}99

le VIF vaut environ

50

, et avec

R_j^2=0{,}99

il vaut

100

, ce qui étire les erreurs standard de

\sqrt{100}=10

. Sur données réelles, la régression à trois facteurs d'Apple (

258

mois depuis mars 2005) a

\mathrm{DW}=1{,}94

et une p-valeur de Breusch–Pagan de

0{,}21

, donc peu d'inquiétude, même si Jarque–Bera rejette la normalité (

p=0{,}015

, kurtosis

3{,}8

). Ajoutons maintenant le rendement excédentaire du fonds SPY à côté du facteur marché : leur corrélation est de

0{,}994

, les deux VIF montent à

82{,}9

, l'erreur standard de l'exposition au marché passe de

0{,}10

0{,}91

et son estimation devient

-0{,}23

alors que

R^2

bouge à peine (

0{,}347

). Enfin, régressons log HD sur log LOW sur

6\,696

jours :

R^2=0{,}93

mais

\mathrm{DW}=0{,}002

. Un DW très inférieur à

R^2

avertit que deux prix tendanciels sont appariés par hasard.

Durbin–Watson proche de 2 est sain, proche de 0 ou de 4 signifie que les résidus voisins sont liés.
VIF au-dessus d'environ 10 signifie que les régresseurs s'emmêlent et que les statistiques t individuelles ne sont pas fiables.
Un $R^2$ élevé avec un DW minuscule est le signe classique d'une régression entre séries tendancielles.

Lab : ce qui est noté

Une statistique de Durbin–Watson20 pts
L'autocorrélation impliquée10 pts
Un facteur d'inflation de la variance20 pts
De combien une erreur standard s'étire20 pts
Associer les diagnostics10 pts
Des régresseurs colinéaires20 pts

Diagnostics des résidus VIF et Durbin–Watson

Vérifier les hypothèses avant de croire les étoiles

Lab : ce qui est noté

Connectez-vous pour exécuter votre code.

Diagnostics des résidus VIF et Durbin–Watson

Vérifier les hypothèses avant de croire les étoiles

Lab : ce qui est noté

Connectez-vous pour exécuter votre code.