O melhor entre muitos é sobretudo sorte
O GridSearchCV testa cada ajuste de uma grade, pontua cada um por validação cruzada e fica com o melhor. Em dados financeiros as dobras devem avançar no tempo: TimeSeriesSplit(5) treina no passado e valida no bloco seguinte, cinco vezes. A pontuação pode ser a AUC (scoring='roc_auc'). Num pipeline, um ajuste se endereça pelo nome da etapa, dois sublinhados e o parâmetro: 'logit__C'. Depois da busca, best_params_ guarda o vencedor, cv_results_['mean_test_score'] a pontuação de cada ponto da grade e, com refit=True por padrão, a própria busca prevê com o melhor modelo reajustado em todos os dados recebidos. Com poucos ajustes e uma pontuação suave, a melhor pontuação de validação é uma superestimativa leve. Em nossas 60 colunas de retornos a grade de C dá AUC de 0,512, 0,500, 0,504: ajustar não muda nada, porque não há nada a encontrar.
O perigo cresce com o número de candidatos. Sorteie n modelos de habilidade real nula; suas pontuações de validação se espalham em torno da média com desvio σ, e o melhor fica acima da média em cerca de σ((1-γ)Φ⁻¹(1-1/n)+γΦ⁻¹(1-1/ne)), onde γ=0,5772 é a constante de Euler e Φ⁻¹ o quantil normal. Experimente 12 modelos aleatórios que usam cada um três das 60 colunas: o melhor tem AUC de validação de 0,523, e a sorte sozinha prevê 0,523. Reajuste o vencedor nas linhas de treino e pontue-o nos 30 % seguintes de dias que nunca viu: sua AUC é 0,478, abaixo de uma moeda. É a maldição do vencedor. As defesas são um conjunto final que nenhuma busca toque, menos candidatos e um olhar sóbrio sobre quanto da melhor pontuação a fórmula já explica.
- Avance no tempo: use
TimeSeriesSplitna busca, nunca dobras embaralhadas, em séries temporais. - O melhor de n supera a média em cerca de σ Φ⁻¹(1-1/n) mesmo quando nada funciona.
- Guarde um conjunto final que nenhuma busca toque e relate essa pontuação, não a de validação.
Lab: o que é avaliado
- O pipeline5 pts
- A busca em grade20 pts
- Pontuações de validação10 pts
- Muitos modelos pequenos20 pts
- Melhor esperado por sorte10 pts
- A maldição do vencedor15 pts
- O estudo20 pts