Arbres et forêts aléatoires

Des questions à la suite, et beaucoup d'arbres

Un arbre de décision pose une suite de questions oui ou non sur les variables, par exemple si le momentum dépasse une valeur, et finit sur une feuille qui prévoit la moyenne (ou la classe majoritaire) des lignes d'entraînement arrivées là. Il choisit chaque question de façon gloutonne : parmi toutes les variables et tous les seuils, il prend celui qui rend les deux groupes enfants les plus purs. Pour des classes, la pureté se mesure par l'impureté de Gini $1-\sum p_k^{2}$ , qui vaut $0$ pour un groupe pur. Le gain d'une coupure est l'impureté du parent moins l'impureté des enfants pondérée par leur taille. Un arbre peut tout ajuster : un arbre profond mémorise le bruit des lignes d'entraînement.

G=1-\sum_k p_k^{2},\qquad \Delta G=G_{\mathrm{parent}}-\left(\frac{n_L}{n}G_L+\frac{n_R}{n}G_R\right),\qquad \mathrm{Var}\!\left(\bar f\right)=\rho\sigma^{2}+\frac{1-\rho}{B}\sigma^{2}

(1)

Une forêt aléatoire fait la moyenne de nombreux arbres. Chaque arbre est construit sur un échantillon bootstrap des lignes et, à chaque coupure, ne regarde qu'un sous-ensemble aléatoire des variables : les arbres diffèrent. Si $B$ arbres ont chacun la variance $\sigma^{2}$ et une corrélation deux à deux $\rho$ , leur moyenne a la variance $\rho\sigma^{2}+(1-\rho)\sigma^{2}/B$ : la moyenne élimine la part indépendante entre arbres et ne garde que la part commune. Une forêt surapprend donc moins qu'un arbre profond, mais elle ajuste encore le bruit quand le vrai signal est faible, comme dans les rendements. Jugez-la toujours sur des données postérieures.

Une coupure à la main et une vraie forêtUn nœud contient

6

jours de hausse et

4

de baisse :

G=1-0{,}6^{2}-0{,}4^{2}=0{,}48

. Une coupure envoie

[5\text{ hausse},1\text{ baisse}]

à gauche, avec

G=1-(5/6)^{2}-(1/6)^{2}=0{,}278

, et

[1,3]

à droite, avec

G=0{,}375

. L'impureté pondérée vaut

0{,}6\times0{,}278+0{,}4\times0{,}375=0{,}317

, donc le gain est

0{,}48-0{,}317=0{,}163

. Pour une forêt avec

\rho=0{,}3

\sigma^{2}=1

B=100

arbres, la variance est

0{,}3+0{,}7/100=0{,}307

, à peine sous le plancher de

0{,}3

qu'aucun nombre d'arbres ne peut battre. Sur le vrai panel mensuel d'actions, une forêt de

40

arbres de profondeur

8

a un coefficient d'information dans l'échantillon de

0{,}102

, mais seulement

-0{,}008

en tests walk-forward, contre

+0{,}033

pour la régression ridge.

Pureté gloutonne : chaque coupure est celle qui baisse le plus l'impureté sur le moment.
La moyenne réduit la variance : il reste à la forêt la part commune $\rho\sigma^{2}$ , quel que soit le nombre d'arbres.
Les modèles flexibles surapprennent les signaux faibles : le talent dans l'échantillon peut être réel et nul hors échantillon.

Lab : ce qui est noté

Impureté d'un nœud10 pts
Impureté d'un enfant10 pts
L'impureté pondérée15 pts
Le gain de la coupure15 pts
La variance d'une forêt15 pts
Pourquoi la moyenne des arbres aide10 pts
Associer le vocabulaire10 pts
Bon dans l'échantillon, faible ensuite15 pts

Des questions à la suite, et beaucoup d'arbres

G=1-\sum_k p_k^{2},\qquad \Delta G=G_{\mathrm{parent}}-\left(\frac{n_L}{n}G_L+\frac{n_R}{n}G_R\right),\qquad \mathrm{Var}\!\left(\bar f\right)=\rho\sigma^{2}+\frac{1-\rho}{B}\sigma^{2}

(1)

Une coupure à la main et une vraie forêtUn nœud contient

6

jours de hausse et

4

de baisse :

G=1-0{,}6^{2}-0{,}4^{2}=0{,}48

. Une coupure envoie

[5\text{ hausse},1\text{ baisse}]

à gauche, avec

G=1-(5/6)^{2}-(1/6)^{2}=0{,}278

, et

[1,3]

à droite, avec

G=0{,}375

. L'impureté pondérée vaut

0{,}6\times0{,}278+0{,}4\times0{,}375=0{,}317

, donc le gain est

0{,}48-0{,}317=0{,}163

. Pour une forêt avec

\rho=0{,}3

\sigma^{2}=1

B=100

arbres, la variance est

0{,}3+0{,}7/100=0{,}307

, à peine sous le plancher de

0{,}3

qu'aucun nombre d'arbres ne peut battre. Sur le vrai panel mensuel d'actions, une forêt de

40

arbres de profondeur

8

a un coefficient d'information dans l'échantillon de

0{,}102

, mais seulement

-0{,}008

en tests walk-forward, contre

+0{,}033

pour la régression ridge.

Pureté gloutonne : chaque coupure est celle qui baisse le plus l'impureté sur le moment.
La moyenne réduit la variance : il reste à la forêt la part commune $\rho\sigma^{2}$ , quel que soit le nombre d'arbres.
Les modèles flexibles surapprennent les signaux faibles : le talent dans l'échantillon peut être réel et nul hors échantillon.

Lab : ce qui est noté

Impureté d'un nœud10 pts
Impureté d'un enfant10 pts
L'impureté pondérée15 pts
Le gain de la coupure15 pts
La variance d'une forêt15 pts
Pourquoi la moyenne des arbres aide10 pts
Associer le vocabulaire10 pts
Bon dans l'échantillon, faible ensuite15 pts

Des questions à la suite, et beaucoup d'arbres

Lab : ce qui est noté

Connectez-vous pour exécuter votre code.

Arbres et forêts aléatoires

Des questions à la suite, et beaucoup d'arbres

Lab : ce qui est noté

Connectez-vous pour exécuter votre code.