Bäume und Random Forests

Fragen nacheinander und viele Bäume

Ein Entscheidungsbaum stellt eine Kette von Ja-Nein-Fragen zu den Merkmalen, etwa ob das Momentum über einem Wert liegt, und endet in einem Blatt, das den Durchschnitt (oder die Mehrheitsklasse) der dort angekommenen Trainingszeilen vorhersagt. Er wählt jede Frage gierig: Aus allen Merkmalen und Schnittpunkten nimmt er den, der die beiden Kindergruppen am reinsten macht. Bei Klassen misst die Gini-Unreinheit $1-\sum p_k^{2}$ die Reinheit, sie ist $0$ bei einer reinen Gruppe. Der Gewinn eines Schnitts ist die Unreinheit des Elternknotens minus die nach Größe gewichtete Unreinheit der Kinder. Ein Baum kann alles anpassen, ein tiefer Baum lernt also das Rauschen der Trainingszeilen auswendig.

Ein Random Forest mittelt viele Bäume. Jeder Baum wächst auf einer Bootstrap-Stichprobe der Zeilen und betrachtet bei jedem Schnitt nur eine zufällige Teilmenge der Merkmale, die Bäume unterscheiden sich also. Haben $B$ Bäume jeweils die Varianz $\sigma^{2}$ und die paarweise Korrelation $\rho$, hat ihr Mittel die Varianz $\rho\sigma^{2}+(1-\rho)\sigma^{2}/B$: Die Mittelung beseitigt den zwischen Bäumen unabhängigen Teil und behält nur den gemeinsamen. Ein Wald überanpasst daher weniger als ein tiefer Baum, passt aber bei schwachem wahrem Signal, wie bei Renditen, immer noch Rauschen an. Beurteilen Sie ihn stets an späteren Daten.

• Gierige Reinheit: Jeder Schnitt senkt die Unreinheit im Moment am stärksten.
• Mitteln senkt die Varianz: Dem Wald bleibt der gemeinsame Teil $\rho\sigma^{2}$, egal wie viele Bäume man hinzufügt.
• Flexible Modelle überanpassen schwache Signale: Das Können in der Stichprobe kann echt und außerhalb null sein.

Lab: Was bewertet wird

• Unreinheit eines Knotens10 Pkt.
• Unreinheit eines Kindes10 Pkt.
• Die gewichtete Unreinheit15 Pkt.
• Der Gewinn des Schnitts15 Pkt.
• Die Varianz eines Waldes15 Pkt.
• Warum das Mitteln von Bäumen hilft10 Pkt.
• Begriffe zuordnen10 Pkt.
• Im Sample gut, später schwach15 Pkt.