Eine Wahrscheinlichkeit, eine Vergleichsbasis und ein fairer Test
Die logistische Regression macht aus einem linearen Score z=b₀+b₁x₁+…+bₚxₚ eine Wahrscheinlichkeit p=1/(1+e^(-z)). Der Score ist der Logarithmus der Chancen: lnp/(1-p)=z, eine Einheit mehr von xⱼ multipliziert die Chancen auf einen Aufwärtstag also mit e^bⱼ. Setzt man einen StandardScaler davor, in eine Pipeline, wird die Einheit eine Standardabweichung, und die Chancenverhältnisse verschiedener Merkmale werden vergleichbar. Das Modell wird durch Minimierung des Log-Loss -1/nΣ(yln p+(1-y)ln(1-p)) plus einer von C gesteuerten Strafe angepasst (kleines C heißt starke Strafe). Das angepasste Objekt liefert predict_proba für Wahrscheinlichkeiten und predict für die Klasse bei der Schwelle 0,5.
Ein Richtungsmodell muss an dem gemessen werden, was es ohne Aufwand erreichen würde. Etwa 55 % der SPY-Tage sind Aufwärtstage, also ist die ständige Vorhersage „hoch“ zu 55 % richtig: Das ist die Vergleichsbasis, und sie muss aus den Trainingslabels stammen, da die Testlabels bei der Vorhersage unbekannt sind. Die Genauigkeit hängt von der Schwelle ab, die AUC nicht; sie ist die Wahrscheinlichkeit, dass ein zufälliger Aufwärtstag einen höheren Score als ein zufälliger Abwärtstag erhält (0,5 heißt keine Fähigkeit). Der Log-Loss bestraft selbstsichere Fehler. Mit vier zum Handelsschluss bekannten Merkmalen und zeitlicher Teilung (70 % Training, die späteren 30 % Test) erreicht das Labormodell eine Genauigkeit von 55,3 % gegen 55,1 % der Basis, eine AUC von 0,501 und einen Log-Loss von 0,688, knapp unter den 0,690 einer Münze. Chancenverhältnisse knapp unter 1 sagen, dass der gestrige Anstieg die Chancen auf einen weiteren leicht senkt, ein realer, aber nicht handelbarer Effekt.
- An einer Basis messen, die aus den Trainingslabels stammt: Die Mehrheitsklasse allein trifft schon zu etwa 55 %.
- AUC und Log-Loss hängen von keiner Schwelle ab; 0,5 und 0,69 sind die Werte ohne Fähigkeit.
- Im Pipeline skalieren; dann ist e^bⱼ das Chancenverhältnis je Standardabweichung.
Lab: Was bewertet wird
- Zeitlich teilen10 Pkt.
- Die Pipeline10 Pkt.
- Drei Kennzahlen20 Pkt.
- Die Mehrheitsklassen-Basis15 Pkt.
- Chancenverhältnisse15 Pkt.
- Die Studie zur SPY-Richtung30 Pkt.