Strafen, Pfade und ehrliches Tuning
Bei sechzig verrauschten Regressoren passt die gewöhnliche Kleinste-Quadrate-Methode das Rauschen an. Eine Strafe gibt großen Koeffizienten einen Preis. Ridge(alpha) bestraft die Quadratsumme: Alle Koeffizienten schrumpfen, keiner erreicht null. Lasso(alpha) bestraft die Summe der Beträge: Mit wachsendem alpha fallen Koeffizienten nacheinander auf exakt null, das Lasso wählt also auch Variablen aus. ElasticNet(alpha, l1_ratio) mischt beides, was hilft, wenn korrelierte Regressoren das Lasso zufällig einen auswählen ließen. Die Strafe behandelt Koeffizienten nur fair, wenn die Spalten dieselbe Skala haben; man standardisiert also zuerst, und nur mit Mittelwert und Standardabweichung des Trainings, sonst sickern die Testzeilen in die Skala. Eine Schleife über ein Gitter von alpha, die festhält, wie viele Koeffizienten überleben oder wie groß die Ridge-Lösung ist, ergibt den Regularisierungspfad.
Wie viel Strafe? Nicht die, die die Vergangenheit am besten trifft: Das ist alpha nahe null. alpha wählt man per Walk-forward-Test: In jedem Fold mit den Trainingszeilen standardisieren, darauf anpassen, die Testzeilen vorhersagen und die Prognosen per Rangkorrelation mit den Ergebnissen bewerten (Information Coefficient). Setzt ein großes alpha alle Koeffizienten auf null, sind die Prognosen konstant und die Korrelation ist nicht definiert; das wird mit 0 bewertet. Für SPYs Tagesrendite gegen die Vortagesrenditen von 60 weiteren Anlagen behält das Lasso bei α=10⁻⁵ 57 Koeffizienten, bei 10⁻⁴ 38, bei 3,2×10⁻⁴ 15 und bei 10⁻³ 7, während die Ridge-Norm von 0,0043 auf 0,0005 fällt, ohne dass ein Koeffizient null wird. Der Walk-forward-IC erreicht sein Maximum bei α=3,2×10⁻⁴ mit etwa 0,022: eine bescheidene, ehrliche Zahl, die eine Anpassung ohne Strafe nie gezeigt hätte.
- Ridge schrumpft, Lasso wählt aus, Elastic Net macht beides: Verfolgen Sie jedes über ein Gitter von alpha.
- Nur mit den Trainingszeilen standardisieren: Eine Strafe hängt von der Skala ab, und die Testzeilen dürfen sie nicht bestimmen.
- alpha außerhalb der Stichprobe abstimmen: Mit Walk-forward-Rangkorrelation bewerten und eine konstante Prognose als 0 werten.
Lab: Was bewertet wird
- Standardisieren ohne Spicken10 Pkt.
- Der Lasso-Pfad15 Pkt.
- Der Ridge-Pfad10 Pkt.
- Ein Walk-forward-Score25 Pkt.
- alpha wählen15 Pkt.
- Was das Elastic Net behält10 Pkt.
- Die gesamte Pfadstudie15 Pkt.