Muitas árvores pequenas e uma classificação honesta das variáveis
Uma árvore de decisão divide as linhas repetidamente com uma pergunta como «o retorno de 20 dias passa de 1 %?», escolhendo a cada passo a divisão que deixa os grupos mais puros. A impureza de Gini de um grupo é G=1-Σₖpₖ², e uma divisão é boa quando reduz a impureza ponderada de seus dois filhos. Uma árvore de profundidade ilimitada termina com uma linha por folha: acurácia de 100 % no treino e perto de 50 % no teste. Duas formas mantêm as árvores honestas. Uma floresta aleatória faz a média de muitas árvores rasas, cada uma crescida numa amostra aleatória de linhas e variáveis, de modo que seus erros se cancelam em parte. O gradient boosting soma árvores pequenas uma após outra, cada uma ajustada ao que a soma atual ainda erra: Fₘ=Fₘ₋₁+νhₘ, onde a taxa de aprendizado ν mantém cada passo pequeno. Ambos se controlam com max_depth, min_samples_leaf e o número de árvores, e ambos precisam de random_state para resultados repetíveis.
A importância das variáveis é de dois tipos. A importância por impureza (feature_importances_) soma quanto cada variável reduziu a impureza nas linhas de treino; soma 1, favorece variáveis com muitos valores distintos e é calculada em dados que o modelo já viu. A importância por permutação embaralha uma coluna das linhas de TESTE e mede quanto a pontuação cai: uma variável que importa dói ao ser embaralhada, uma inútil não. Num problema artificial cujo rótulo depende do produto de duas variáveis, uma regressão logística tem AUC perto de 0,5 enquanto as árvores acham a interação, e os dois rankings apontam as duas colunas certas. Na direção do SPY o quadro é o oposto de útil: a árvore ilimitada faz 50,5 % no teste, as AUC são 0,498 (logit), 0,515 (floresta) e 0,531 (boosting), as seis importâncias por impureza ficam entre 0,13 e 0,20 e o ranking por permutação as contradiz. Importâncias planas e AUC de teste perto de 0,5 dizem que não há nada a ordenar.
- Limite a profundidade: uma árvore ilimitada faz 100 % no treino e cerca de 50 % no teste.
- A importância por impureza é calculada no treino; a por permutação no teste é a confiável.
- Árvores veem interações que um modelo linear não vê, mas retornos ruidosos não oferecem nenhuma: espere AUC perto de 0,5.
Lab: o que é avaliado
- A curva de profundidade15 pts
- Floresta e boosting10 pts
- Três modelos, três AUC20 pts
- Importâncias por impureza10 pts
- O ranking por permutação20 pts
- O estudo do SPY25 pts