Por que a divisão é tudo
Um modelo é julgado em dados que não viu. Em finanças há três conjuntos: dados de treino para ajustar, de validação para escolher ajustes e de teste, usados uma vez, para relatar o resultado. Eles devem seguir o tempo: treinar no passado, validar no trecho seguinte, testar no último. Uma divisão aleatória põe dias da mesma tempestade nos dois conjuntos, então o modelo reconhece vizinhos em vez de aprender uma regra. Vazamento significa que informação do período de validação ou de teste chega à etapa de treino. Tem quatro formas comuns: um escalador ajustado em todos os dias, uma variável que usa um preço futuro, uma coluna parecida com o alvo conhecida só depois e rótulos que se sobrepõem no tempo.
Rótulos sobrepostos merecem cuidado especial. Se o rótulo é o retorno dos próximos meses, o rótulo de uma linha de treino e o de uma linha de teste compartilham meses sempre que . As últimas linhas de treino antes do período de teste conhecem, portanto, parte do resultado do teste. O remédio é a purga, que remove essas linhas, e o embargo, que mantém uma margem de segurança, como os próximos tópicos mostram. Um número pequeno dá a dimensão: com linhas mensais, uma divisão põe o período de teste na linha , e com duas linhas de treino perto de cada fronteira se sobrepõem.
- Dividir pelo tempo: treinar no passado, validar no trecho seguinte, testar no último e olhar o teste uma só vez.
- Quatro vazamentos: pré-processamento ajustado, variáveis futuras, colunas parecidas com o alvo e rótulos sobrepostos.
- Uma pontuação embaralhada é um sinal de alerta: se embaralhar os dias eleva muito a pontuação, o modelo reconhece vizinhos.
Lab: o que é avaliado
- Onde começa o período de teste10 pts
- O tamanho do treino10 pts
- O que o escalador aprende do futuro10 pts
- Rótulos sobrepostos15 pts
- Quanto um embaralhamento lisonjeia10 pts
- A divisão certa para uma série temporal10 pts
- Um fluxo sem vazamento10 pts
- Tipos de vazamento10 pts
- Por que embaralhar infla a pontuação15 pts