Busca de hiperparâmetros sem sobreajuste

O vencedor de uma busca sai favorecido

Uma busca de hiperparâmetros testa muitos ajustes, pontua cada um em dados de validação e fica com o melhor. O problema é que a melhor de muitas pontuações ruidosas é enviesada para cima, mesmo que nenhum ajuste tenha habilidade. Se $N$ ajustes têm cada um uma pontuação de puro ruído com desvio padrão $\sigma$, o melhor esperado é cerca de $\sigma\times z_N$, com $z_{10}=1{,}54$ e $z_{100}=2{,}51$. Com um ruído de IC de $\sigma=0{,}02$, o vencedor de $100$ ajustes inúteis parece $0{,}050$, um sinal respeitável que não existe. Relatar a pontuação de validação do vencedor como seu desempenho é, portanto, otimista, e quanto mais ajustes se testam, pior.

Há três remédios honestos. Primeiro, guardar um conjunto de teste que a busca nunca vê e relatar só a pontuação dele. Segundo, usar validação cruzada aninhada: um laço externo separa uma dobra de teste e dentro de cada conjunto de treino externo um laço interno faz a busca. As pontuações externas medem todo o procedimento, busca incluída. Terceiro, reduzir a busca: menos ajustes, grades mais grossas e ajustes que importam. Com $K_o$ dobras externas, $K_i$ internas e $C$ candidatos, a validação aninhada precisa de $K_o(K_iC+1)$ ajustes, então planeje o orçamento. E antes de buscar, pergunte se o ajuste pode mesmo importar.

• O máximo do ruído não é ruído: o melhor de muitos ajustes inúteis parece habilidade.
• A validação aninhada pontua todo o procedimento, busca incluída, com $K_o(K_iC+1)$ ajustes.
• Compare com o ruído: um ganho menor que um erro padrão não é uma descoberta.

Lab: o que é avaliado

• O melhor de 100 ajustes inúteis15 pts
• O melhor de 1010 pts
• Ajustes de uma busca em grade10 pts
• Ajustes de uma validação aninhada15 pts
• O que resta a explicar10 pts
• Qual busca é honesta10 pts
• Validação aninhada10 pts
• Por que a pontuação do vencedor está inflada20 pts