Position in der SkillModul 3 von 4 · Thema 4 von 4
3.4 Multikollinearität und Regularisierung
—Lab-Punkte— / 100XP gesamt—Serie—
Prädiktoren, die dasselbe sagen
Bewegen sich zwei Regressoren fast gemeinsam, etwa das Momentum einer Aktie über 6 und über 12 Monate, kann die Regression nicht sagen, welcher das Verdienst hat. Das ist Multikollinearität. Die Anpassung kann gut bleiben, aber die einzelnen Koeffizienten werden instabil: Eine kleine Datenänderung kann den einen steigen und den anderen fallen lassen, und ihre Standardfehler explodieren. Der Varianzinflationsfaktor des Regressors j ist VIFj=1−Rj21, wobei Rj2 aus der Regression dieses Regressors auf alle anderen stammt. Ein VIF über 5 oder 10 ist ein Warnsignal.
Regularisierung behebt die Instabilität, indem sie die Größe der Koeffizienten bestraft. Ridge (L2) addiert λ∥β∥2: Die Lösung ist die gewöhnliche mit λI auf XTX, was die Matrix gut konditioniert (Verbindung zur Fähigkeit Lineare Algebra) und jeden Koeffizienten gegen null schrumpft. Lasso (L1) addiert λ∥β∥1 und kann manche Koeffizienten exakt auf null setzen und so Prädiktoren auswählen. Beide tauschen etwas Verzerrung gegen einen starken Rückgang der Varianz, und λ wird per Kreuzvalidierung gewählt, dem nächsten Thema.
Zahlen für korrelierte PrädiktorenErgibt die Regression des Prädiktors j auf die anderen Rj2=0,9, dann ist VIFj=1/(1−0,9)=10: Sein Standardfehler ist etwa 10≈3,2-mal so groß wie bei unkorrelierten Prädiktoren. Umgekehrt bedeutet VIF=5 ein Rj2=0,8. Mit XTX=(4334) nutzt Ridge mit λ=1 die Matrix (5335). In einer Dimension mit XTX=4 und XTy=8 liefert OLS β^=2, Ridge mit λ=4 dagegen 8/(4+4)=1: Die Strafe halbiert den Koeffizienten.
Multikollinearität: instabile Koeffizienten und aufgeblähte Standardfehler, Prognosen oft weiterhin gut.
Ridge: schrumpft alle Koeffizienten, nie exakt auf null. Lasso: kann Koeffizienten exakt auf null setzen.
Wählen Sie die Strafe λ per Kreuzvalidierung, nie nach der Trainingsanpassung.
Lesen Sie keinen Koeffizienten, wenn sein Zwilling im Modell istBei zwei nahezu doppelten Faktoren ist jeder Koeffizient allein nicht interpretierbar: Ein großer positiver und ein großer negativer können sich zu einer vernünftigen Summe aufheben. Beurteilen Sie das Paar gemeinsam, streichen oder kombinieren Sie einen von beiden oder regularisieren Sie. Die Prognosen des Modells können trotzdem gut bleiben, denn die Kombination ist gut bestimmt, auch wenn es jeder Teil nicht ist.
Lab: Was bewertet wird
Ein Varianzinflationsfaktor15 Pkt.
Vom VIF zum R-Quadrat10 Pkt.
Die Ridge-Matrix15 Pkt.
Ein geschrumpfter Koeffizient15 Pkt.
Welche Strafe wählt Variablen aus15 Pkt.
Was Kollinearität bewirkt15 Pkt.
Warum Ridge hilft15 Pkt.
0/ 7 beantwortet
1Numerische Antwort15 Pkt.Nicht beantwortet
Die Regression eines Prädiktors auf alle anderen ergibt R-Quadrat = 0,9. Wie groß ist sein VIF?
VIF=akzeptiert: ± 0.001
2Numerische Antwort10 Pkt.Nicht beantwortet
Ein Prädiktor hat VIF = 5. Wie groß ist das R-Quadrat seiner Regression auf die anderen Prädiktoren?
R2=akzeptiert: ± 0.001
3Matrix · Vektor15 Pkt.Nicht beantwortet
Sei XTX=(4334). Tragen Sie XTX+λI für λ=1 ein.
XTX+I=
4Numerische Antwort15 Pkt.Nicht beantwortet
Bei einem Regressor gilt X^T X = 4 und X^T y = 8. OLS liefert 2. Was liefert Ridge mit lambda = 4 mit X^T y / (X^T X + lambda)?
beta=akzeptiert: ± 0.001
5Auswahl15 Pkt.Nicht beantwortet
Welche Strafe kann manche Koeffizienten exakt auf null setzen?
6Auswahl15 Pkt.Nicht beantwortet
Wählen Sie alle Wirkungen starker Multikollinearität.
7In Worten erklären15 Pkt.Nicht beantwortet
Sagen Sie in zwei Sätzen, warum die Ridge-Regression hilft, wenn Prädiktoren stark korreliert sind.
Mathe-ModusEingabe per Tastatur oder LaTeXAufgabe 1 von 7 · Strg ⏎ zum Prüfen
