Viele kleine Bäume und eine ehrliche Rangfolge der Merkmale
Ein Entscheidungsbaum teilt die Zeilen immer wieder mit einer Frage wie „Liegt die 20-Tage-Rendite über 1 %?“ und wählt in jedem Schritt die Teilung, die die Gruppen am reinsten macht. Die Gini-Unreinheit einer Gruppe ist G=1-Σₖpₖ², und eine Teilung ist gut, wenn sie die gewichtete Unreinheit ihrer beiden Kinder senkt. Ein Baum unbegrenzter Tiefe endet mit einer Zeile pro Blatt: 100 % Trainingsgenauigkeit und etwa 50 % im Test. Zwei Wege halten Bäume ehrlich. Ein Random Forest mittelt viele flache Bäume, jeder auf einer zufälligen Stichprobe von Zeilen und Merkmalen gewachsen, sodass sich ihre Fehler teilweise aufheben. Gradient Boosting fügt kleine Bäume nacheinander hinzu, jeder angepasst an das, was die bisherige Summe noch falsch macht: Fₘ=Fₘ₋₁+νhₘ, wobei die Lernrate ν jeden Schritt klein hält. Beide werden mit max_depth, min_samples_leaf und der Baumzahl gesteuert und brauchen random_state für wiederholbare Ergebnisse.
Die Wichtigkeit von Merkmalen gibt es in zwei Arten. Die Unreinheits-Wichtigkeit (feature_importances_) summiert, wie stark jedes Merkmal die Unreinheit in den Trainingszeilen gesenkt hat; sie summiert sich zu 1, bevorzugt Merkmale mit vielen verschiedenen Werten und wird auf bereits gesehenen Daten berechnet. Die Permutations-Wichtigkeit mischt eine Spalte der TEST-Zeilen und misst, wie stark der Score fällt: Ein wichtiges Merkmal schmerzt beim Durcheinanderbringen, ein nutzloses nicht. Bei einem künstlichen Problem, dessen Label vom Produkt zweier Merkmale abhängt, hat eine logistische Regression eine AUC nahe 0,5, während Bäume die Wechselwirkung finden, und beide Rangfolgen zeigen auf die richtigen zwei Spalten. Bei der SPY-Richtung ist das Bild das Gegenteil von nützlich: Der unbegrenzte Baum erreicht im Test 50,5 %, die AUCs sind 0,498 (Logit), 0,515 (Forest) und 0,531 (Boosting), die sechs Unreinheits-Wichtigkeiten liegen alle zwischen 0,13 und 0,20, und die Permutations-Rangfolge widerspricht ihnen. Flache Wichtigkeiten und eine Test-AUC nahe 0,5 sagen, dass es nichts zu ordnen gibt.
- Tiefe begrenzen: Ein unbegrenzter Baum erreicht 100 % im Training und etwa 50 % im Test.
- Unreinheits-Wichtigkeit wird auf Trainingszeilen berechnet; die Permutations-Wichtigkeit auf Testzeilen ist die verlässliche.
- Bäume sehen Wechselwirkungen, die ein lineares Modell nicht sieht, doch verrauschte Renditen bieten keine: Erwarten Sie AUCs nahe 0,5.
Lab: Was bewertet wird
- Die Tiefenkurve15 Pkt.
- Forest und Boosting10 Pkt.
- Drei Modelle, drei AUCs20 Pkt.
- Unreinheits-Wichtigkeiten10 Pkt.
- Die Permutations-Rangfolge20 Pkt.
- Die SPY-Studie25 Pkt.