Árvores e florestas aleatórias

Perguntas em sequência e muitas árvores

Uma árvore de decisão faz uma cadeia de perguntas de sim ou não sobre as variáveis, por exemplo se o momento passa de um valor, e termina numa folha que prevê a média (ou a classe majoritária) das linhas de treino que chegaram a ela. Escolhe cada pergunta de forma gananciosa: entre todas as variáveis e pontos de corte, toma o que deixa os dois grupos filhos mais puros. Para classes, a pureza é medida pela impureza de Gini $1-\sum p_k^{2}$ , que é $0$ num grupo puro. O ganho de um corte é a impureza do pai menos a impureza dos filhos ponderada pelo tamanho. Uma árvore pode ajustar qualquer coisa, então uma árvore profunda memoriza o ruído das linhas de treino.

G=1-\sum_k p_k^{2},\qquad \Delta G=G_{\mathrm{parent}}-\left(\frac{n_L}{n}G_L+\frac{n_R}{n}G_R\right),\qquad \mathrm{Var}\!\left(\bar f\right)=\rho\sigma^{2}+\frac{1-\rho}{B}\sigma^{2}

(1)

Uma floresta aleatória tira a média de muitas árvores. Cada árvore é cultivada numa amostra bootstrap das linhas e, em cada corte, olha só um subconjunto aleatório das variáveis, então as árvores diferem. Se $B$ árvores têm cada uma variância $\sigma^{2}$ e correlação par a par $\rho$ , a média delas tem variância $\rho\sigma^{2}+(1-\rho)\sigma^{2}/B$ : a média elimina a parte independente entre árvores e mantém só a compartilhada. Uma floresta sobreajusta, portanto, menos que uma árvore profunda, mas ainda ajusta ruído quando o sinal verdadeiro é fraco, como nos retornos. Julgue-a sempre em dados posteriores.

Um corte à mão e uma floresta realUm nó tem

6

dias de alta e

4

de baixa:

G=1-0{,}6^{2}-0{,}4^{2}=0{,}48

. Um corte manda

[5\text{ alta},1\text{ baixa}]

para a esquerda, com

G=1-(5/6)^{2}-(1/6)^{2}=0{,}278

, e

[1,3]

para a direita, com

G=0{,}375

. A impureza ponderada é

0{,}6\times0{,}278+0{,}4\times0{,}375=0{,}317

, então o ganho é

0{,}48-0{,}317=0{,}163

. Para uma floresta com

\rho=0{,}3

\sigma^{2}=1

B=100

árvores, a variância é

0{,}3+0{,}7/100=0{,}307

, pouco abaixo do piso de

0{,}3

que nenhum número de árvores supera. No painel mensal real de ações, uma floresta de

40

árvores de profundidade

8

tem coeficiente de informação na amostra de

0{,}102

, mas só

-0{,}008

em testes walk-forward, contra

+0{,}033

da regressão ridge.

Pureza gananciosa: cada corte é o que mais reduz a impureza no momento.
A média reduz a variância: à floresta resta a parte compartilhada $\rho\sigma^{2}$ , quantas árvores se acrescentem.
Modelos flexíveis sobreajustam sinais fracos: a habilidade na amostra pode ser real e nula fora dela.

Lab: o que é avaliado

Impureza de um nó10 pts
Impureza de um filho10 pts
A impureza ponderada15 pts
O ganho do corte15 pts
A variância de uma floresta15 pts
Por que a média das árvores ajuda10 pts
Associar o vocabulário10 pts
Bom na amostra, fraco depois15 pts

Perguntas em sequência e muitas árvores

G=1-\sum_k p_k^{2},\qquad \Delta G=G_{\mathrm{parent}}-\left(\frac{n_L}{n}G_L+\frac{n_R}{n}G_R\right),\qquad \mathrm{Var}\!\left(\bar f\right)=\rho\sigma^{2}+\frac{1-\rho}{B}\sigma^{2}

(1)

Um corte à mão e uma floresta realUm nó tem

6

dias de alta e

4

de baixa:

G=1-0{,}6^{2}-0{,}4^{2}=0{,}48

. Um corte manda

[5\text{ alta},1\text{ baixa}]

para a esquerda, com

G=1-(5/6)^{2}-(1/6)^{2}=0{,}278

, e

[1,3]

para a direita, com

G=0{,}375

. A impureza ponderada é

0{,}6\times0{,}278+0{,}4\times0{,}375=0{,}317

, então o ganho é

0{,}48-0{,}317=0{,}163

. Para uma floresta com

\rho=0{,}3

\sigma^{2}=1

B=100

árvores, a variância é

0{,}3+0{,}7/100=0{,}307

, pouco abaixo do piso de

0{,}3

que nenhum número de árvores supera. No painel mensal real de ações, uma floresta de

40

árvores de profundidade

8

tem coeficiente de informação na amostra de

0{,}102

, mas só

-0{,}008

em testes walk-forward, contra

+0{,}033

da regressão ridge.

Pureza gananciosa: cada corte é o que mais reduz a impureza no momento.
A média reduz a variância: à floresta resta a parte compartilhada $\rho\sigma^{2}$ , quantas árvores se acrescentem.
Modelos flexíveis sobreajustam sinais fracos: a habilidade na amostra pode ser real e nula fora dela.

Lab: o que é avaliado

Impureza de um nó10 pts
Impureza de um filho10 pts
A impureza ponderada15 pts
O ganho do corte15 pts
A variância de uma floresta15 pts
Por que a média das árvores ajuda10 pts
Associar o vocabulário10 pts
Bom na amostra, fraco depois15 pts

Árvores e florestas aleatórias

Perguntas em sequência e muitas árvores

Lab: o que é avaliado

Entre para executar o seu código.

Árvores e florestas aleatórias

Perguntas em sequência e muitas árvores

Lab: o que é avaliado

Entre para executar o seu código.