Kreuzvalidierung und Überanpassung

Die Vergangenheit anzupassen ist leicht

Gibt man einem Modell genug Freiheit, passt es beliebige Trainingsdaten an, Rauschen eingeschlossen. Das ist Überanpassung: eine großartige Anpassung in der Stichprobe, die bei neuen Daten zusammenbricht. Unteranpassung ist das Gegenteil, ein Modell, das zu einfach ist, um das Muster zu erfassen. Das Heilmittel für beides ist, ein Modell an Daten zu beurteilen, die es nicht gesehen hat. Das $R^2$ in der Stichprobe sinkt nie, wenn man Prädiktoren hinzufügt, und belohnt damit Überanpassung, während das bereinigte $R^2=1-(1-R^2)\frac{n-1}{n-p-1}$ jeden zusätzlichen Prädiktor bestraft.

Die $k$-fache Kreuzvalidierung teilt die Daten in $k$ Folds, trainiert auf $k-1$ davon, bewertet auf dem zurückgehaltenen Fold und mittelt die $k$ Werte. Ein separater Testsatz, der nur einmal ganz am Ende angefasst wird, liefert die ehrliche Endschätzung; die Validierungsfolds werden durch Entscheidungen wie die Strafe $\lambda$ aufgebraucht. Bei Zeitreihen ist Mischen falsch: Eine zufällige Aufteilung trainiert auf Tagen nach den getesteten und lässt so die Zukunft einfließen. Nutzen Sie stattdessen Walk-forward-Validierung, die immer auf der Vergangenheit trainiert und auf dem folgenden Block testet, optional mit einer Lücke, um Überlappung der Labels zu vermeiden.

• Überanpassung: großartig auf Trainingsdaten, schlecht auf neuen. Unteranpassung: auf beiden schlecht.
• Kreuzvalidierung: auf einigen Folds trainieren, auf dem zurückgehaltenen bewerten, mitteln; einen Testsatz für das Ende aufheben.
• Zeitreihen: nie mischen; auf der Vergangenheit trainieren, auf dem Zukunftsblock testen (Walk-forward).

Lab: Was bewertet wird

• Die Größe eines Trainingssatzes10 Pkt.
• Warum nicht mischen15 Pkt.
• Ein Walk-forward-Test15 Pkt.
• Ein bereinigtes R-Quadrat15 Pkt.
• Das Vokabular15 Pkt.
• Die Leckage erkennen15 Pkt.
• Warum die Anpassung in der Stichprobe wenig sagt15 Pkt.