Hyperparametersuche ohne Überanpassung

Position in der SkillModul 3 von 4 · Thema 6 von 6

3.6 Hyperparametersuche ohne Überanpassung

—Lab-Punkte— / 100XP gesamt—Serie—

Der Gewinner einer Suche wird begünstigt

Eine Hyperparametersuche probiert viele Einstellungen, bewertet jede auf Validierungsdaten und behält die beste. Das Problem: Der beste von vielen verrauschten Werten ist nach oben verzerrt, selbst wenn keine Einstellung Können hat. Haben $N$ Einstellungen je einen reinen Rauschwert mit Standardabweichung $\sigma$ , liegt der erwartete beste bei etwa $\sigma\times z_N$ , mit $z_{10}=1{,}54$ und $z_{100}=2{,}51$ . Bei einem IC-Rauschen von $\sigma=0{,}02$ sieht der Gewinner von $100$ nutzlosen Einstellungen wie $0{,}050$ aus, ein respektables Signal, das nicht existiert. Den Validierungswert des Gewinners als seine Leistung zu berichten, ist daher optimistisch, und je mehr Einstellungen man probiert, desto schlimmer wird es.

E\left[\max_{i\le N}s_i\right]\approx\sigma\,z_N,\qquad z_{10}=1.54,\quad z_{100}=2.51;\qquad K\cdot C,\qquad K_{o}\,(K_{i}C+1)

(1)

Es gibt drei ehrliche Mittel. Erstens einen Testsatz behalten, den die Suche nie sieht, und nur dessen Wert berichten. Zweitens verschachtelte Kreuzvalidierung: Eine äußere Schleife legt eine Testfaltung beiseite, und in jeder äußeren Trainingsmenge führt eine innere Schleife die Suche durch. Die äußeren Werte messen das gesamte Verfahren samt Suche. Drittens die Suche verkleinern: weniger Einstellungen, gröbere Gitter und Einstellungen, die zählen. Bei $K_o$ äußeren, $K_i$ inneren Faltungen und $C$ Kandidaten braucht die verschachtelte Validierung $K_o(K_iC+1)$ Anpassungen, planen Sie das Budget ein. Und fragen Sie vor der Suche, ob die Einstellung überhaupt eine Rolle spielen kann.

Zählen und ein echtes GitterZwanzig Kandidaten mit

5

Faltungen kosten

100

Anpassungen plus eine abschließende. Verschachtelte Validierung mit

5

äußeren,

3

inneren Faltungen und

20

Kandidaten kostet

5\times(3\times20+1)=305

Anpassungen. Der beste von

100

nutzlosen Einstellungen wird bei

2{,}51\times0{,}02=0{,}050

erwartet, der beste von

10

bei

1{,}54\times0{,}02=0{,}031

. Erreicht Ihr Gewinner

0{,}060

, bleiben nur

0{,}060-0{,}050=0{,}010

zu erklären. Auf dem echten monatlichen Aktienpanel hat Ridge nichts einzustellen: Der Informationskoeffizient beträgt für jedes

\alpha

von

0{,}01

bis

10^{4}

den Wert

0{,}033

. Fünf Baumtiefen von

1

bis

10

ergeben einen IC zwischen

-0{,}010

und

0{,}013

, und der beste,

0{,}013

, liegt etwa einen Standardfehler (

0{,}21/\sqrt{257}=0{,}013

) von null entfernt.

Das Maximum von Rauschen ist kein Rauschen: Der beste von vielen nutzlosen Einstellungen sieht aus wie Können.
Verschachtelte Validierung bewertet das ganze Verfahren samt Suche mit $K_o(K_iC+1)$ Anpassungen.
Mit dem Rauschen vergleichen: Ein Gewinn unter einem Standardfehler ist kein Befund.

Lab: Was bewertet wird

Der beste von 100 nutzlosen Einstellungen15 Pkt.
Der beste von 1010 Pkt.
Anpassungen einer Gittersuche10 Pkt.
Anpassungen einer verschachtelten Validierung15 Pkt.
Was zu erklären bleibt10 Pkt.
Welche Suche ehrlich ist10 Pkt.
Verschachtelte Validierung10 Pkt.
Warum der Wert des Gewinners aufgebläht ist20 Pkt.

0/ 8 beantwortet

1Numerische Antwort15 Pkt.Nicht beantwortet

Jede von $100$ nutzlosen Einstellungen hat einen IC mit Rauschen der Standardabweichung $0{,}02$ . Der erwartete beste ist $\sigma z_N$ mit $z_{100}=2{,}51$ . Wie groß ist er? Geben Sie drei Dezimalstellen an.

m =

akzeptiert: ± 0.001

2Numerische Antwort10 Pkt.Nicht beantwortet

Mit nur $N=10$ nutzlosen Einstellungen, $z_{10}=1{,}54$ und $\sigma=0{,}02$ : Wie groß ist der erwartete beste IC? Geben Sie drei Dezimalstellen an.

m =

akzeptiert: ± 0.001

3Numerische Antwort10 Pkt.Nicht beantwortet

Eine Gittersuche probiert $C=20$ Kandidaten mit je $K=5$ Faltungen. Wie viele Anpassungen führt sie aus, ohne eine abschließende Neuanpassung?

n =

akzeptiert: ± 0.01

4Numerische Antwort15 Pkt.Nicht beantwortet

Die verschachtelte Validierung hat $K_o=5$ äußere, $K_i=3$ innere Faltungen und $C=20$ Kandidaten, plus eine Neuanpassung je äußerer Faltung. Wie viele Anpassungen sind nötig, $K_o(K_iC+1)$ ?

n =

akzeptiert: ± 0.01

5Numerische Antwort10 Pkt.Nicht beantwortet

Ihr Gewinner erreicht einen IC von $0{,}060$ , der erwartete beste von $100$ nutzlosen Einstellungen ist $0{,}050$ . Wie viel des Werts liegt über dem, was der Zufall allein liefert? Geben Sie drei Dezimalstellen an.

x =

akzeptiert: ± 0.001

6Auswahl10 Pkt.Nicht beantwortet

Welches Verfahren liefert eine ehrliche Schätzung, wie das abgestimmte Modell bei neuen Daten abschneidet?

7Schritte ordnen10 Pkt.Nicht beantwortet

Bringen Sie die Schritte der verschachtelten Kreuzvalidierung in die richtige Reihenfolge.

Zum Umsortieren ziehen, oder ein Element fokussieren, mit Leertaste anheben, mit Pfeiltasten bewegen und mit Leertaste ablegen.

1Das neu angepasste Modell auf der äußeren Testfaltung bewerten
2Eine äußere Testfaltung beiseitelegen
3Die beste Einstellung auf der ganzen äußeren Trainingsmenge neu anpassen
4Die Einstellungen mit einer inneren Kreuzvalidierung auf den äußeren Trainingsdaten suchen

8In Worten erklären20 Pkt.Nicht beantwortet

Erklären Sie in ein bis zwei Sätzen, warum der beste Validierungswert einer großen Hyperparametersuche überschätzt, wie das Modell bei neuen Daten abschneidet.

Bewertet nach:Der Wert jeder Einstellung enthält Glück, und das Maximum vieler verrauschter Werte wählt den glücklichsten ausDieses Glück wiederholt sich bei neuen Daten nicht, die echte Leistung ist also niedriger0 / 400 Zeichen

Mathe-ModusEingabe per Tastatur oder LaTeXAufgabe 1 von 8 · Strg ⏎ zum Prüfen

Hyperparametersuche ohne Überanpassung

Position in der SkillModul 3 von 4 · Thema 6 von 6

3.6 Hyperparametersuche ohne Überanpassung

—Lab-Punkte— / 100XP gesamt—Serie—

Der Gewinner einer Suche wird begünstigt

E\left[\max_{i\le N}s_i\right]\approx\sigma\,z_N,\qquad z_{10}=1.54,\quad z_{100}=2.51;\qquad K\cdot C,\qquad K_{o}\,(K_{i}C+1)

(1)

Zählen und ein echtes GitterZwanzig Kandidaten mit

5

Faltungen kosten

100

Anpassungen plus eine abschließende. Verschachtelte Validierung mit

5

äußeren,

3

inneren Faltungen und

20

Kandidaten kostet

5\times(3\times20+1)=305

Anpassungen. Der beste von

100

nutzlosen Einstellungen wird bei

2{,}51\times0{,}02=0{,}050

erwartet, der beste von

10

bei

1{,}54\times0{,}02=0{,}031

. Erreicht Ihr Gewinner

0{,}060

, bleiben nur

0{,}060-0{,}050=0{,}010

zu erklären. Auf dem echten monatlichen Aktienpanel hat Ridge nichts einzustellen: Der Informationskoeffizient beträgt für jedes

\alpha

von

0{,}01

bis

10^{4}

den Wert

0{,}033

. Fünf Baumtiefen von

1

bis

10

ergeben einen IC zwischen

-0{,}010

und

0{,}013

, und der beste,

0{,}013

, liegt etwa einen Standardfehler (

0{,}21/\sqrt{257}=0{,}013

) von null entfernt.

Das Maximum von Rauschen ist kein Rauschen: Der beste von vielen nutzlosen Einstellungen sieht aus wie Können.
Verschachtelte Validierung bewertet das ganze Verfahren samt Suche mit $K_o(K_iC+1)$ Anpassungen.
Mit dem Rauschen vergleichen: Ein Gewinn unter einem Standardfehler ist kein Befund.

Lab: Was bewertet wird

Der beste von 100 nutzlosen Einstellungen15 Pkt.
Der beste von 1010 Pkt.
Anpassungen einer Gittersuche10 Pkt.
Anpassungen einer verschachtelten Validierung15 Pkt.
Was zu erklären bleibt10 Pkt.
Welche Suche ehrlich ist10 Pkt.
Verschachtelte Validierung10 Pkt.
Warum der Wert des Gewinners aufgebläht ist20 Pkt.

0/ 8 beantwortet

1Numerische Antwort15 Pkt.Nicht beantwortet

m =

akzeptiert: ± 0.001

2Numerische Antwort10 Pkt.Nicht beantwortet

Mit nur $N=10$ nutzlosen Einstellungen, $z_{10}=1{,}54$ und $\sigma=0{,}02$ : Wie groß ist der erwartete beste IC? Geben Sie drei Dezimalstellen an.

m =

akzeptiert: ± 0.001

3Numerische Antwort10 Pkt.Nicht beantwortet

Eine Gittersuche probiert $C=20$ Kandidaten mit je $K=5$ Faltungen. Wie viele Anpassungen führt sie aus, ohne eine abschließende Neuanpassung?

n =

akzeptiert: ± 0.01

4Numerische Antwort15 Pkt.Nicht beantwortet

Die verschachtelte Validierung hat $K_o=5$ äußere, $K_i=3$ innere Faltungen und $C=20$ Kandidaten, plus eine Neuanpassung je äußerer Faltung. Wie viele Anpassungen sind nötig, $K_o(K_iC+1)$ ?

n =

akzeptiert: ± 0.01

5Numerische Antwort10 Pkt.Nicht beantwortet

x =

akzeptiert: ± 0.001

6Auswahl10 Pkt.Nicht beantwortet

Welches Verfahren liefert eine ehrliche Schätzung, wie das abgestimmte Modell bei neuen Daten abschneidet?

7Schritte ordnen10 Pkt.Nicht beantwortet

Bringen Sie die Schritte der verschachtelten Kreuzvalidierung in die richtige Reihenfolge.

Zum Umsortieren ziehen, oder ein Element fokussieren, mit Leertaste anheben, mit Pfeiltasten bewegen und mit Leertaste ablegen.

1Das neu angepasste Modell auf der äußeren Testfaltung bewerten
2Eine äußere Testfaltung beiseitelegen
3Die beste Einstellung auf der ganzen äußeren Trainingsmenge neu anpassen
4Die Einstellungen mit einer inneren Kreuzvalidierung auf den äußeren Trainingsdaten suchen

8In Worten erklären20 Pkt.Nicht beantwortet

Erklären Sie in ein bis zwei Sätzen, warum der beste Validierungswert einer großen Hyperparametersuche überschätzt, wie das Modell bei neuen Daten abschneidet.

Mathe-ModusEingabe per Tastatur oder LaTeXAufgabe 1 von 8 · Strg ⏎ zum Prüfen

Hyperparametersuche ohne Überanpassung

Der Gewinner einer Suche wird begünstigt

Lab: Was bewertet wird

Melde dich an, um deinen Code auszuführen.

Hyperparametersuche ohne Überanpassung

Der Gewinner einer Suche wird begünstigt

Lab: Was bewertet wird

Melde dich an, um deinen Code auszuführen.