Der Beste aus vielen ist meist Glück
GridSearchCV probiert jede Einstellung eines Gitters, bewertet sie per Kreuzvalidierung und behält die beste. Bei Finanzdaten müssen die Folds zeitlich vorwärtsgehen: TimeSeriesSplit(5) trainiert auf der Vergangenheit und validiert auf dem folgenden Block, fünfmal. Der Score kann die AUC sein (scoring='roc_auc'). In einer Pipeline wird eine Einstellung über Schrittname, zwei Unterstriche und Parameter angesprochen: 'logit__C'. Nach der Suche enthält best_params_ den Gewinner, cv_results_['mean_test_score'] den Score jedes Gitterpunkts, und mit dem Standard refit=True sagt die Suche selbst mit dem besten, auf allen erhaltenen Daten neu angepassten Modell voraus. Bei wenigen Einstellungen und glattem Score ist der beste Validierungsscore eine milde Überschätzung. Bei unseren 60 Renditespalten liefert das C-Gitter AUCs von 0,512, 0,500, 0,504: Das Tuning ändert nichts, weil nichts zu finden ist.
Die Gefahr wächst mit der Zahl der Kandidaten. Zieht man n Modelle ohne echte Fähigkeit, streuen ihre Validierungsscores mit Abweichung σ um den Mittelwert, und der beste liegt etwa um σ((1-γ)Φ⁻¹(1-1/n)+γΦ⁻¹(1-1/ne)) darüber, wobei γ=0,5772 die Eulersche Konstante und Φ⁻¹ das Normalquantil ist. Probiert man 12 Zufallsmodelle, die je drei der 60 Spalten nutzen, hat das beste eine Validierungs-AUC von 0,523, und Glück allein sagt 0,523 voraus. Passt man den Gewinner auf den Trainingszeilen neu an und bewertet ihn auf den späteren 30 % der Tage, die er nie sah, ist seine AUC 0,478, unter einer Münze. Das ist der Fluch des Gewinners. Die Abwehr: ein finaler Holdout, den keine Suche berührt, weniger Kandidaten und ein nüchterner Blick darauf, wie viel des besten Scores die Formel schon erklärt.
- Zeitlich vorwärts: In der Suche
TimeSeriesSplitnutzen, bei Zeitreihen nie gemischte Folds. - Der Beste von n übertrifft den Mittelwert um etwa σ Φ⁻¹(1-1/n), selbst wenn nichts funktioniert.
- Einen finalen Holdout behalten, den keine Suche berührt, und diesen Score berichten, nicht den der Validierung.
Lab: Was bewertet wird
- Die Pipeline5 Pkt.
- Die Gittersuche20 Pkt.
- Validierungsscores10 Pkt.
- Viele kleine Modelle20 Pkt.
- Erwarteter Bester durch Glück10 Pkt.
- Der Fluch des Gewinners15 Pkt.
- Die Studie20 Pkt.