Aufteilungen und Leakage im Finanzbereich

Position in der SkillModul 1 von 4 · Thema 3 von 5

1.3 Aufteilungen und Leakage im Finanzbereich

—Lab-Punkte— / 100XP gesamt—Serie—

Warum die Aufteilung alles entscheidet

Ein Modell wird an Daten beurteilt, die es nicht gesehen hat. Im Finanzbereich gibt es drei Mengen: Trainingsdaten zum Anpassen, Validierungsdaten zum Wählen der Einstellungen und Testdaten, einmal genutzt, zum Berichten des Ergebnisses. Sie müssen der Zeit folgen: auf der Vergangenheit trainieren, auf dem nächsten Abschnitt validieren, auf dem letzten testen. Eine zufällige Aufteilung legt Tage desselben Sturms in beide Mengen, das Modell erkennt dann Nachbarn, statt eine Regel zu lernen. Leakage heißt, dass Informationen aus der Validierungs- oder Testzeit in den Trainingsschritt gelangen. Es gibt vier häufige Formen: einen auf allen Tagen angepassten Scaler, ein Merkmal mit einem künftigen Preis, eine zielähnliche Spalte, die erst später bekannt ist, und sich zeitlich überlappende Labels.

Überlappende Labels verdienen besondere Sorgfalt. Ist das Label die Rendite der nächsten $H$ Monate, teilen das Label einer Trainingszeile $i$ und einer Testzeile $j$ Monate, sobald $i+H>j$ . Die letzten $H-1$ Trainingszeilen vor dem Testzeitraum kennen also einen Teil des Testergebnisses. Das Heilmittel ist das Purging, das diese Zeilen entfernt, und das Embargo, das einen Sicherheitsabstand hält, wie die nächsten Themen zeigen. Eine kleine Zahl zeigt die Größe: Bei $1000$ Monatszeilen legt eine $60/20/20$ -Aufteilung den Testzeitraum auf Zeile $800$ , und für $H=3$ überlappen zwei Trainingszeilen an jeder Grenze.

(i,\,i+H]\cap(j,\,j+H]\neq\varnothing\iff i+H>j\qquad(i<j)

(1)

Zahlen und ein echtes BeispielSind die Trainingswerte

2,4,6,8

, lernt der Scaler den Mittelwert

5

. Auf allen Tagen angepasst, einschließlich eines Testwerts

20

, würde er den Mittelwert

8

lernen, ein Unterschied von

3

aus der Zukunft. Bei echten Daten nehmen wir den SPY und lassen einen Random Forest die Volatilität der nächsten

20

Tage aus der jüngsten Volatilität vorhersagen. Eine gemischte 5-fache Aufteilung ergibt

R^{2}=0{,}60

. Eine zeitlich geordnete Walk-forward-Aufteilung mit

20

Tagen Purging ergibt

R^{2}=-2{,}10

. Der gemischte Wert ist um

2{,}70

höher, weil benachbarte Tage

19

ihrer

20

Label-Tage teilen und weil ein zeitlich geordneter Test Stürme bewältigen muss, die er nicht gesehen hat.

Nach Zeit aufteilen: auf der Vergangenheit trainieren, auf dem nächsten Abschnitt validieren, auf dem letzten testen und den Test nur einmal ansehen.
Vier Leaks: angepasste Vorverarbeitung, künftige Merkmale, zielähnliche Spalten und überlappende Labels.
Ein gemischter Wert ist ein Warnsignal: Hebt das Mischen der Tage den Wert stark, erkennt das Modell Nachbarn.

Lab: Was bewertet wird

Wo der Testzeitraum beginnt10 Pkt.
Die Trainingsgröße10 Pkt.
Was der Scaler aus der Zukunft lernt10 Pkt.
Überlappende Labels15 Pkt.
Wie stark ein Mischen schmeichelt10 Pkt.
Die richtige Aufteilung für eine Zeitreihe10 Pkt.
Ein leckfreier Ablauf10 Pkt.
Arten von Leakage10 Pkt.
Warum Mischen den Wert aufbläht15 Pkt.

0/ 9 beantwortet

1Numerische Antwort10 Pkt.Nicht beantwortet

Es gibt $1000$ Monatszeilen in zeitlicher Reihenfolge, aufgeteilt in $60\%$ Training, $20\%$ Validierung und $20\%$ Test. Bei welchem Zeilenindex (ab $0$ gezählt) beginnt der Testzeitraum?

i =

akzeptiert: ± 0.5

2Numerische Antwort10 Pkt.Nicht beantwortet

Wie viele Zeilen enthält bei derselben Aufteilung von $1000$ Zeilen die Trainingsmenge?

n =

akzeptiert: ± 0.5

3Numerische Antwort10 Pkt.Nicht beantwortet

Die Trainingswerte sind $2,4,6,8$ (Mittelwert $5$ ), der Testwert ist $20$ . Ein auf allen fünf Werten angepasster Scaler lernt den Mittelwert $8$ . Um wie viel weicht der Mittelwert vom ehrlichen ab?

d =

akzeptiert: ± 0.01

4Numerische Antwort15 Pkt.Nicht beantwortet

Das Label der Zeile $i$ ist die Rendite der nächsten $H=3$ Monate. Eine Trainingszeile $i$ und die erste Testzeile $j=600$ teilen Monate, wenn $i+H>j$ . Wie viele Trainingszeilen $i<600$ überlappen das Label der Zeile $600$ ?

k =

akzeptiert: ± 0.01

5Numerische Antwort10 Pkt.Nicht beantwortet

Beim SPY erreicht ein Random Forest, der die Volatilität der nächsten $20$ Tage vorhersagt, $R^{2}=0{,}60$ bei gemischter Aufteilung und $R^{2}=-2{,}10$ bei Walk-forward mit Purging. Um wie viel schmeichelt das Mischen? Geben Sie zwei Dezimalstellen an.

g =

akzeptiert: ± 0.02

6Auswahl10 Pkt.Nicht beantwortet

Sie wollen ein Modell für Tagesrenditen ehrlich beurteilen. Welche Aufteilung nutzen Sie?

7Schritte ordnen10 Pkt.Nicht beantwortet

Bringen Sie die Schritte einer leckfreien Bewertung in die richtige Reihenfolge.

Zum Umsortieren ziehen, oder ein Element fokussieren, mit Leertaste anheben, mit Pfeiltasten bewegen und mit Leertaste ablegen.

1Den Testwert einmal ansehen und berichten
2Die Zeilen nach Zeit ordnen und in Training, Validierung und Test schneiden
3Die Einstellungen mit den Validierungsdaten wählen
4Vorverarbeitung und Modell an die Trainingsdaten anpassen

8Zuordnen10 Pkt.Nicht beantwortet

Ordnen Sie jeder Art von Leakage ihr Beispiel zu.

Wähle den Partner für jedes Element links.

Vorverarbeitungs-Leak

Look-ahead-Merkmal

Ziel-Leak

Label-Überlappung

9In Worten erklären15 Pkt.Nicht beantwortet

Erklären Sie in ein bis zwei Sätzen, warum eine gemischte Aufteilung einen besseren Wert liefert als eine zeitlich geordnete, wenn das Ziel eine Rendite der nächsten $20$ Tage ist.

Bewertet nach:Benachbarte Tage haben fast dasselbe Label-Fenster, die Testtage haben also fast Kopien im TrainingDas Modell kann so die Nachbarn auswendig lernen, statt etwas Ungesehenes vorherzusagen0 / 400 Zeichen

Mathe-ModusEingabe per Tastatur oder LaTeXAufgabe 1 von 9 · Strg ⏎ zum Prüfen

Aufteilungen und Leakage im Finanzbereich

Position in der SkillModul 1 von 4 · Thema 3 von 5

1.3 Aufteilungen und Leakage im Finanzbereich

—Lab-Punkte— / 100XP gesamt—Serie—

Warum die Aufteilung alles entscheidet

(i,\,i+H]\cap(j,\,j+H]\neq\varnothing\iff i+H>j\qquad(i<j)

(1)

Zahlen und ein echtes BeispielSind die Trainingswerte

2,4,6,8

, lernt der Scaler den Mittelwert

5

. Auf allen Tagen angepasst, einschließlich eines Testwerts

20

, würde er den Mittelwert

8

lernen, ein Unterschied von

3

aus der Zukunft. Bei echten Daten nehmen wir den SPY und lassen einen Random Forest die Volatilität der nächsten

20

Tage aus der jüngsten Volatilität vorhersagen. Eine gemischte 5-fache Aufteilung ergibt

R^{2}=0{,}60

. Eine zeitlich geordnete Walk-forward-Aufteilung mit

20

Tagen Purging ergibt

R^{2}=-2{,}10

. Der gemischte Wert ist um

2{,}70

höher, weil benachbarte Tage

19

ihrer

20

Label-Tage teilen und weil ein zeitlich geordneter Test Stürme bewältigen muss, die er nicht gesehen hat.

Nach Zeit aufteilen: auf der Vergangenheit trainieren, auf dem nächsten Abschnitt validieren, auf dem letzten testen und den Test nur einmal ansehen.
Vier Leaks: angepasste Vorverarbeitung, künftige Merkmale, zielähnliche Spalten und überlappende Labels.
Ein gemischter Wert ist ein Warnsignal: Hebt das Mischen der Tage den Wert stark, erkennt das Modell Nachbarn.

Lab: Was bewertet wird

Wo der Testzeitraum beginnt10 Pkt.
Die Trainingsgröße10 Pkt.
Was der Scaler aus der Zukunft lernt10 Pkt.
Überlappende Labels15 Pkt.
Wie stark ein Mischen schmeichelt10 Pkt.
Die richtige Aufteilung für eine Zeitreihe10 Pkt.
Ein leckfreier Ablauf10 Pkt.
Arten von Leakage10 Pkt.
Warum Mischen den Wert aufbläht15 Pkt.

0/ 9 beantwortet

1Numerische Antwort10 Pkt.Nicht beantwortet

Es gibt $1000$ Monatszeilen in zeitlicher Reihenfolge, aufgeteilt in $60\%$ Training, $20\%$ Validierung und $20\%$ Test. Bei welchem Zeilenindex (ab $0$ gezählt) beginnt der Testzeitraum?

i =

akzeptiert: ± 0.5

2Numerische Antwort10 Pkt.Nicht beantwortet

Wie viele Zeilen enthält bei derselben Aufteilung von $1000$ Zeilen die Trainingsmenge?

n =

akzeptiert: ± 0.5

3Numerische Antwort10 Pkt.Nicht beantwortet

d =

akzeptiert: ± 0.01

4Numerische Antwort15 Pkt.Nicht beantwortet

k =

akzeptiert: ± 0.01

5Numerische Antwort10 Pkt.Nicht beantwortet

g =

akzeptiert: ± 0.02

6Auswahl10 Pkt.Nicht beantwortet

Sie wollen ein Modell für Tagesrenditen ehrlich beurteilen. Welche Aufteilung nutzen Sie?

7Schritte ordnen10 Pkt.Nicht beantwortet

Bringen Sie die Schritte einer leckfreien Bewertung in die richtige Reihenfolge.

Zum Umsortieren ziehen, oder ein Element fokussieren, mit Leertaste anheben, mit Pfeiltasten bewegen und mit Leertaste ablegen.

1Den Testwert einmal ansehen und berichten
2Die Zeilen nach Zeit ordnen und in Training, Validierung und Test schneiden
3Die Einstellungen mit den Validierungsdaten wählen
4Vorverarbeitung und Modell an die Trainingsdaten anpassen

8Zuordnen10 Pkt.Nicht beantwortet

Ordnen Sie jeder Art von Leakage ihr Beispiel zu.

Wähle den Partner für jedes Element links.

Vorverarbeitungs-Leak

Look-ahead-Merkmal

Ziel-Leak

Label-Überlappung

9In Worten erklären15 Pkt.Nicht beantwortet

Erklären Sie in ein bis zwei Sätzen, warum eine gemischte Aufteilung einen besseren Wert liefert als eine zeitlich geordnete, wenn das Ziel eine Rendite der nächsten $20$ Tage ist.

Mathe-ModusEingabe per Tastatur oder LaTeXAufgabe 1 von 9 · Strg ⏎ zum Prüfen

Aufteilungen und Leakage im Finanzbereich

Warum die Aufteilung alles entscheidet

Lab: Was bewertet wird

Melde dich an, um deinen Code auszuführen.

Aufteilungen und Leakage im Finanzbereich

Warum die Aufteilung alles entscheidet

Lab: Was bewertet wird

Melde dich an, um deinen Code auszuführen.