Welches Merkmal das Modell genutzt hat
Nach dem Anpassen will man wissen, auf welche Merkmale sich das Modell stützt, um es auf Plausibilität zu prüfen und Ballast abzuwerfen. Baummodelle liefern eine Unreinheits-Wichtigkeit: den gesamten Schnittgewinn jedes Merkmals, geteilt durch die Summe über alle Merkmale. Sie ist gratis, aber zugunsten von Merkmalen mit vielen verschiedenen Werten verzerrt und auf Trainingsdaten gemessen, ein Rauschmerkmal kann also wichtig wirken. Die Permutationswichtigkeit ist ehrlicher. Nehmen Sie ein angepasstes Modell und einen zurückgehaltenen Satz, mischen Sie die Werte eines Merkmals, was seine Verbindung zum Ziel bricht, und notieren Sie, wie stark der Wert fällt: . Wiederholen Sie das Mischen mehrfach und mitteln Sie.
Zwei Warnungen. Erstens teilen korrelierte Merkmale das Verdienst: Tragen zwei Spalten dieselbe Information, überlässt das Mischen der einen der anderen die Arbeit, und beide wirken unwichtig. Fassen Sie solche Merkmale zusammen oder streichen Sie eines. Zweitens beschreibt die Wichtigkeit das Modell, nicht die Welt. Ein Merkmal, das für ein schlechtes Modell zählt, ist keine Ursache der Renditen. Mischen Sie bei Querschnittsdaten das Merkmal innerhalb jedes Monats, damit das Mischen das Monatsniveau behält und nur die Rangfolge unter den Aktien bricht. Berichten Sie auch die Streuung über die Wiederholungen, denn eine kleine Wichtigkeit mit größerer Streuung ist Rauschen.
- Mischen und bewerten: Wichtigkeit ist, wie stark der zurückgehaltene Wert fällt, wenn ein Merkmal gemischt wird.
- Korrelierte Zwillinge verstecken sich gegenseitig: Zusammenfassen oder eines streichen, bevor man die Zahlen liest.
- Wichtigkeit betrifft das Modell: Sie ist eine Kontrolle, kein Beweis, dass ein Merkmal Renditen verursacht.
Lab: Was bewertet wird
- Der Mittelwert der Mischungen10 Pkt.
- Die Permutationswichtigkeit15 Pkt.
- Die Streuung der Wiederholungen15 Pkt.
- Ein Unreinheitsanteil10 Pkt.
- Ein Zwillingsmerkmal10 Pkt.
- Welcher Wichtigkeit man traut10 Pkt.
- Das Permutationsverfahren10 Pkt.
- Wichtig für das Modell, nicht für Renditen20 Pkt.