Beaucoup de petits arbres et un classement honnête des variables
Un arbre de décision partage les lignes encore et encore avec une question comme « le rendement sur 20 jours dépasse-t-il 1 % ? », en choisissant à chaque étape la coupure qui rend les groupes les plus purs. L'impureté de Gini d'un groupe est G=1-Σₖpₖ², et une coupure est bonne quand elle abaisse l'impureté pondérée de ses deux enfants. Un arbre de profondeur illimitée finit avec une ligne par feuille : exactitude de 100 % à l'entraînement et d'environ 50 % au test. Deux moyens gardent les arbres honnêtes. Une forêt aléatoire moyenne de nombreux arbres peu profonds, chacun construit sur un échantillon aléatoire de lignes et de variables, si bien que leurs erreurs s'annulent en partie. Le gradient boosting ajoute de petits arbres l'un après l'autre, chacun ajusté à ce que la somme actuelle rate encore : Fₘ=Fₘ₋₁+νhₘ, où le taux d'apprentissage ν garde chaque pas petit. Les deux se règlent avec max_depth, min_samples_leaf et le nombre d'arbres, et ont besoin de random_state pour des résultats répétables.
L'importance des variables existe en deux sortes. L'importance par impureté (feature_importances_) additionne de combien chaque variable a abaissé l'impureté sur les lignes d'entraînement ; elle somme à 1, favorise les variables à nombreuses valeurs distinctes et se calcule sur des données déjà vues. L'importance par permutation mélange une colonne des lignes de TEST et mesure de combien le score chute : une variable qui compte fait mal quand on la brouille, une inutile non. Sur un problème artificiel où l'étiquette dépend du produit de deux variables, une régression logistique a une AUC proche de 0,5 alors que les arbres trouvent l'interaction, et les deux classements désignent les deux bonnes colonnes. Sur la direction de SPY, le tableau est l'inverse d'utile : l'arbre illimité fait 50,5 % au test, les AUC sont 0,498 (logit), 0,515 (forêt) et 0,531 (boosting), les six importances par impureté sont toutes entre 0,13 et 0,20, et le classement par permutation les contredit. Des importances plates et une AUC de test proche de 0,5 disent qu'il n'y a rien à classer.
- Limitez la profondeur : un arbre illimité fait 100 % à l'entraînement et environ 50 % au test.
- L'importance par impureté se calcule sur les lignes d'entraînement ; celle par permutation sur le test est la plus fiable.
- Les arbres voient les interactions qu'un modèle linéaire ne voit pas, mais des rendements bruités n'en offrent aucune : attendez-vous à des AUC proches de 0,5.
Lab : ce qui est noté
- La courbe de profondeur15 pts
- Forêt et boosting10 pts
- Trois modèles, trois AUC20 pts
- Importances par impureté10 pts
- Le classement par permutation20 pts
- L'étude de SPY25 pts