Árboles y bosques aleatorios

Preguntas en fila y muchos árboles

Un árbol de decisión hace una cadena de preguntas de sí o no sobre las variables, por ejemplo si el momento supera un valor, y termina en una hoja que predice la media (o la clase mayoritaria) de las filas de entrenamiento que llegaron a ella. Elige cada pregunta de forma voraz: entre todas las variables y puntos de corte toma el que deja los dos grupos hijos más puros. Para clases, la pureza se mide con la impureza de Gini $1-\sum p_k^{2}$ , que es $0$ en un grupo puro. La ganancia de un corte es la impureza del padre menos la impureza de los hijos ponderada por su tamaño. Un árbol puede ajustar cualquier cosa, así que un árbol profundo memoriza el ruido de las filas de entrenamiento.

G=1-\sum_k p_k^{2},\qquad \Delta G=G_{\mathrm{parent}}-\left(\frac{n_L}{n}G_L+\frac{n_R}{n}G_R\right),\qquad \mathrm{Var}\!\left(\bar f\right)=\rho\sigma^{2}+\frac{1-\rho}{B}\sigma^{2}

(1)

Un bosque aleatorio promedia muchos árboles. Cada árbol se cultiva con una muestra bootstrap de las filas y, en cada corte, mira solo un subconjunto aleatorio de variables, así que los árboles difieren. Si $B$ árboles tienen cada uno varianza $\sigma^{2}$ y correlación por pares $\rho$ , su promedio tiene varianza $\rho\sigma^{2}+(1-\rho)\sigma^{2}/B$ : promediar elimina la parte independiente entre árboles y conserva solo la compartida. Un bosque sobreajusta, pues, menos que un árbol profundo, pero aún ajusta ruido cuando la señal verdadera es débil, como en los rendimientos. Júzguelo siempre con datos posteriores.

Un corte a mano y un bosque realUn nodo contiene

6

días alcistas y

4

bajistas:

G=1-0{,}6^{2}-0{,}4^{2}=0{,}48

. Un corte envía

[5\text{ alza},1\text{ baja}]

a la izquierda, con

G=1-(5/6)^{2}-(1/6)^{2}=0{,}278

, y

[1,3]

a la derecha, con

G=0{,}375

. La impureza ponderada es

0{,}6\times0{,}278+0{,}4\times0{,}375=0{,}317

, así que la ganancia es

0{,}48-0{,}317=0{,}163

. Para un bosque con

\rho=0{,}3

\sigma^{2}=1

B=100

árboles, la varianza es

0{,}3+0{,}7/100=0{,}307

, apenas por debajo del suelo de

0{,}3

que ningún número de árboles puede superar. En el panel mensual real de acciones, un bosque de

40

árboles de profundidad

8

tiene un coeficiente de información dentro de muestra de

0{,}102

, pero solo

-0{,}008

en pruebas walk-forward, frente a

+0{,}033

de la regresión ridge.

Pureza voraz: cada corte es el que más baja la impureza en ese momento.
Promediar reduce la varianza: al bosque le queda la parte compartida $\rho\sigma^{2}$ , sin importar cuántos árboles se añadan.
Los modelos flexibles sobreajustan señales débiles: la habilidad dentro de muestra puede ser real y nula fuera de muestra.

Lab: qué se califica

Impureza de un nodo10 pts
Impureza de un hijo10 pts
La impureza ponderada15 pts
La ganancia del corte15 pts
La varianza de un bosque15 pts
Por qué ayuda promediar árboles10 pts
Emparejar el vocabulario10 pts
Bueno dentro de muestra, pobre después15 pts

Preguntas en fila y muchos árboles

G=1-\sum_k p_k^{2},\qquad \Delta G=G_{\mathrm{parent}}-\left(\frac{n_L}{n}G_L+\frac{n_R}{n}G_R\right),\qquad \mathrm{Var}\!\left(\bar f\right)=\rho\sigma^{2}+\frac{1-\rho}{B}\sigma^{2}

(1)

Un corte a mano y un bosque realUn nodo contiene

6

días alcistas y

4

bajistas:

G=1-0{,}6^{2}-0{,}4^{2}=0{,}48

. Un corte envía

[5\text{ alza},1\text{ baja}]

a la izquierda, con

G=1-(5/6)^{2}-(1/6)^{2}=0{,}278

, y

[1,3]

a la derecha, con

G=0{,}375

. La impureza ponderada es

0{,}6\times0{,}278+0{,}4\times0{,}375=0{,}317

, así que la ganancia es

0{,}48-0{,}317=0{,}163

. Para un bosque con

\rho=0{,}3

\sigma^{2}=1

B=100

árboles, la varianza es

0{,}3+0{,}7/100=0{,}307

, apenas por debajo del suelo de

0{,}3

que ningún número de árboles puede superar. En el panel mensual real de acciones, un bosque de

40

árboles de profundidad

8

tiene un coeficiente de información dentro de muestra de

0{,}102

, pero solo

-0{,}008

en pruebas walk-forward, frente a

+0{,}033

de la regresión ridge.

Pureza voraz: cada corte es el que más baja la impureza en ese momento.
Promediar reduce la varianza: al bosque le queda la parte compartida $\rho\sigma^{2}$ , sin importar cuántos árboles se añadan.
Los modelos flexibles sobreajustan señales débiles: la habilidad dentro de muestra puede ser real y nula fuera de muestra.

Lab: qué se califica

Impureza de un nodo10 pts
Impureza de un hijo10 pts
La impureza ponderada15 pts
La ganancia del corte15 pts
La varianza de un bosque15 pts
Por qué ayuda promediar árboles10 pts
Emparejar el vocabulario10 pts
Bueno dentro de muestra, pobre después15 pts

Preguntas en fila y muchos árboles

Lab: qué se califica

Inicia sesión para ejecutar tu código.

Árboles y bosques aleatorios

Preguntas en fila y muchos árboles

Lab: qué se califica

Inicia sesión para ejecutar tu código.