El mejor de muchos es sobre todo suerte
GridSearchCV prueba cada ajuste de una rejilla, lo puntúa con validación cruzada y se queda con el mejor. Con datos financieros los pliegues deben avanzar en el tiempo: TimeSeriesSplit(5) entrena con el pasado y valida en el bloque siguiente, cinco veces. La puntuación puede ser el AUC (scoring='roc_auc'). En un pipeline, un ajuste se direcciona con el nombre del paso, dos guiones bajos y el parámetro: 'logit__C'. Tras la búsqueda, best_params_ guarda al ganador, cv_results_['mean_test_score'] la puntuación de cada punto de la rejilla y, con refit=True por defecto, la propia búsqueda predice con el mejor modelo reajustado con todos los datos recibidos. Con pocos ajustes y una puntuación suave, la mejor puntuación de validación es una sobreestimación leve. En nuestras 60 columnas de rendimientos la rejilla de C da AUC de 0,512, 0,500, 0,504: ajustar no cambia nada, porque no hay nada que encontrar.
El peligro crece con el número de candidatos. Saque n modelos de habilidad real nula; sus puntuaciones de validación se dispersan en torno a la media con desviación σ, y el mejor queda por encima de la media en unos σ((1-γ)Φ⁻¹(1-1/n)+γΦ⁻¹(1-1/ne)), donde γ=0,5772 es la constante de Euler y Φ⁻¹ el cuantil normal. Pruebe 12 modelos aleatorios que usan cada uno tres de las 60 columnas: el mejor tiene un AUC de validación de 0,523 y la suerte sola predice 0,523. Reajuste al ganador con las filas de entrenamiento y puntúelo en el 30 % posterior de días que nunca vio: su AUC es 0,478, por debajo de una moneda. Es la maldición del ganador. Las defensas son un conjunto final que ninguna búsqueda toque, menos candidatos y una mirada sobria a cuánto del mejor puntaje explica ya la fórmula.
- Avance en el tiempo: use
TimeSeriesSpliten la búsqueda, nunca pliegues mezclados, con series temporales. - El mejor de n supera la media en unos σ Φ⁻¹(1-1/n) aunque nada funcione.
- Guarde un conjunto final que ninguna búsqueda toque e informe esa puntuación, no la de validación.
Lab: qué se califica
- El pipeline5 pts
- La búsqueda en rejilla20 pts
- Puntuaciones de validación10 pts
- Muchos modelos pequeños20 pts
- Mejor esperado por suerte10 pts
- La maldición del ganador15 pts
- El estudio20 pts