Qual variável o modelo usou
Depois do ajuste, quer-se saber em quais variáveis o modelo se apoia, para checar se faz sentido e tirar peso morto. Modelos de árvores dão uma importância por impureza: o ganho total de corte que cada variável produziu, dividido pela soma sobre as variáveis. É gratuita, mas enviesada a favor de variáveis com muitos valores distintos e medida em dados de treino, então uma variável de ruído pode parecer importante. A importância por permutação é mais honesta. Pegue um modelo ajustado e um conjunto reservado, embaralhe os valores de uma variável, o que rompe seu vínculo com o alvo, e anote quanto a pontuação cai: . Repita o embaralhamento várias vezes e tire a média.
Dois avisos. Primeiro, variáveis correlacionadas dividem o mérito: se duas colunas carregam a mesma informação, embaralhar uma deixa a outra fazer o trabalho, e ambas parecem sem importância. Agrupe essas variáveis ou tire uma. Segundo, a importância descreve o modelo, não o mundo. Uma variável que importa para um modelo ruim não a torna causa dos retornos. Com dados em corte transversal, embaralhe a variável dentro de cada mês, de modo que o embaralhamento mantenha o nível do mês e só quebre a ordem entre ações. Relate também a dispersão das repetições, pois uma importância pequena com dispersão maior é ruído.
- Embaralhar e pontuar: a importância é quanto a pontuação reservada cai ao embaralhar uma variável.
- Gêmeas correlacionadas se escondem: agrupe-as ou tire uma antes de ler os números.
- A importância diz respeito ao modelo: é uma checagem, não prova de que uma variável cause os retornos.
Lab: o que é avaliado
- A média dos embaralhamentos10 pts
- A importância por permutação15 pts
- A dispersão das repetições15 pts
- Uma parcela de impureza10 pts
- Uma variável gêmea10 pts
- Em qual importância confiar10 pts
- O procedimento de permutação10 pts
- Importante para o modelo, não para os retornos20 pts