Lineare Modelle und Regularisierung

Koeffizienten absichtlich schrumpfen

Die gewöhnliche Methode der kleinsten Quadrate findet die Gerade, die die Trainingsdaten am besten anpasst, und bei verrauschten Finanzdaten passt sie auch das Rauschen an. Regularisierung fügt eine Strafe für die Größe der Koeffizienten hinzu, das Modell opfert etwas Anpassung für viel Stabilität. Ridge bestraft die Summe der quadrierten Koeffizienten und schrumpft alle zur Null hin. Lasso bestraft ihre Beträge und kann schwache Koeffizienten genau auf null setzen, was Merkmale auswählt. Die Stärke $\alpha$ ist ein Hyperparameter: $\alpha=0$ ist die einfache kleinste Quadrate Methode, ein sehr großes $\alpha$ ergibt ein flaches Modell, das den Mittelwert vorhersagt.

Standardisieren Sie in der Praxis die Merkmale innerhalb einer Pipeline, weil eine Strafe alle Koeffizienten gleich behandelt. Wählen Sie $\alpha$ auf Validierungsdaten, die zeitlich nach den Trainingsdaten liegen. Beginnen Sie mit Ridge, wenn Merkmale korreliert sind und das Signal schwach ist, wie bei Momentum, Value und Quality, und nutzen Sie Lasso, wenn Sie eine kurze Merkmalsliste wollen. Elastic Net mischt beide Strafen. Keine erzeugt Signal: Eine Strafe macht ein Modell nur weniger empfindlich gegenüber Rauschen.

• Ridge schrumpft, Lasso wählt aus: Ridge behält alle Merkmale mit kleineren Gewichten, Lasso kann schwache streichen.
• Die Stärke ist ein Kompromiss: $\alpha=0$ ist kleinste Quadrate, ein riesiges $\alpha$ sagt den Mittelwert vorher.
• Zuerst skalieren: Eine Strafe behandelt alle Koeffizienten gleich, die Merkmale brauchen also eine gemeinsame Skala.