Informationskoeffizient Trefferquote und Kalibrierung

Ein Modell bewerten, das Aktien ordnet

Ein Renditemodell für viele Aktien muss nicht die Größe jeder Rendite vorhersagen. Es muss die Aktien in die richtige Reihenfolge bringen. Der Informationskoeffizient IC ist die Rangkorrelation zwischen den Vorhersagen und den realisierten Renditen eines Monats, mit $\rho=1-6\sum d_i^{2}/(n(n^{2}-1))$, wobei $d_i$ die Differenz der beiden Ränge der Aktie $i$ ist. Er liegt zwischen $-1$ und $1$, Werte von $0{,}02$ bis $0{,}05$ sind für echte Signale typisch. Man berechnet einen IC pro Monat und betrachtet Mittelwert und t-Statistik $\overline{\mathrm{IC}}/(s/\sqrt{m})$ über $m$ Monate, die sagt, ob sich der Mittelwert von null unterscheidet.

Gibt das Modell Wahrscheinlichkeiten aus, etwa die Chance, dass eine Aktie den Median schlägt, zählen zwei weitere Werte. Die Trefferquote ist der Anteil richtiger Aussagen, leicht zu lesen und verrauscht. Der Brier-Score ist der Mittelwert von $(p_i-y_i)^{2}$, niedriger ist besser, und eine konstante Vermutung von $0{,}5$ erreicht $0{,}25$. Die Kalibrierung fragt, ob die Wahrscheinlichkeiten halten, was sie sagen: Von den Fällen, in denen das Modell $70\%$ sagte, sollten etwa $70\%$ eingetreten sein. Ein gut ordnendes Modell kann schlecht kalibriert sein, und die Kalibrierung entscheidet über die Einsatzhöhe. Das Grundgesetz verbindet beide Welten: Die jährliche Informationsratio ist etwa der IC mal die Wurzel der Zahl unabhängiger Wetten.

• Rang, nicht Größe: Der IC belohnt die richtige Reihenfolge und ignoriert die Größe von Ausreißern.
• t-Statistik beachten: Ein mittlerer IC von $0{,}03$ ist nur sinnvoll, wenn er mehrere Standardfehler über null liegt.
• Wahrscheinlichkeiten brauchen Kalibrierung: Brier-Score und Zuverlässigkeit sagen, ob $70\%$ auch $70\%$ heißt.

Lab: Was bewertet wird

• Quadrierte Rangdifferenzen10 Pkt.
• Die Rangkorrelation15 Pkt.
• Eine t-Statistik für den mittleren IC15 Pkt.
• Ein Brier-Score15 Pkt.
• Das Grundgesetz10 Pkt.
• Trefferquote gegen IC10 Pkt.
• Begriffe zuordnen10 Pkt.
• Warum Kalibrierung zählt15 Pkt.