Recherche d'hyperparamètres sans surapprentissage

Position dans le parcoursModule 3 sur 4 · Sujet 6 sur 6

3.6 Recherche d'hyperparamètres sans surapprentissage

—Score du lab— / 100XP total—Série—

Le gagnant d'une recherche est flatté

Une recherche d'hyperparamètres essaie de nombreux réglages, note chacun sur des données de validation et garde le meilleur. Le problème est que le meilleur de nombreux scores bruités est biaisé vers le haut, même si aucun réglage n'a de talent. Si $N$ réglages ont chacun un score de pur bruit d'écart type $\sigma$ , le meilleur attendu vaut environ $\sigma\times z_N$ , avec $z_{10}=1{,}54$ et $z_{100}=2{,}51$ . Avec un bruit d'IC de $\sigma=0{,}02$ , le gagnant de $100$ réglages inutiles ressemble à $0{,}050$ , un signal respectable qui n'existe pas. Annoncer le score de validation du gagnant comme sa performance est donc optimiste, et plus on essaie de réglages, pire c'est.

E\left[\max_{i\le N}s_i\right]\approx\sigma\,z_N,\qquad z_{10}=1.54,\quad z_{100}=2.51;\qquad K\cdot C,\qquad K_{o}\,(K_{i}C+1)

(1)

Il y a trois remèdes honnêtes. D'abord garder un jeu de test que la recherche ne voit jamais et ne publier que son score. Ensuite utiliser la validation croisée imbriquée : une boucle externe met de côté un pli de test, et dans chaque ensemble d'entraînement externe une boucle interne mène la recherche. Les scores externes mesurent toute la procédure, recherche comprise. Enfin réduire la recherche : moins de réglages, des grilles plus grossières et des réglages qui comptent. Avec $K_o$ plis externes, $K_i$ plis internes et $C$ candidats, la validation imbriquée demande $K_o(K_iC+1)$ ajustements : prévoyez le budget. Et avant de chercher, demandez-vous si le réglage peut compter.

Compter et une vraie grilleVingt candidats avec

5

plis coûtent

100

ajustements, plus un réajustement final. La validation imbriquée avec

5

plis externes,

3

plis internes et

20

candidats coûte

5\times(3\times20+1)=305

ajustements. Le meilleur de

100

réglages inutiles est attendu à

2{,}51\times0{,}02=0{,}050

, et le meilleur de

10

1{,}54\times0{,}02=0{,}031

. Si votre gagnant obtient

0{,}060

, il ne reste que

0{,}060-0{,}050=0{,}010

à expliquer. Sur le vrai panel mensuel d'actions, ridge n'a rien à régler : le coefficient d'information est de

0{,}033

pour tout

\alpha

0{,}01

10^{4}

. Cinq profondeurs d'arbre de

1

10

donnent un IC entre

-0{,}010

0{,}013

, et le meilleur,

0{,}013

, est à environ une erreur type (

0{,}21/\sqrt{257}=0{,}013

) de zéro.

Le maximum du bruit n'est pas du bruit : le meilleur de nombreux réglages inutiles ressemble à du talent.
La validation imbriquée note toute la procédure, recherche comprise, pour $K_o(K_iC+1)$ ajustements.
Comparez avec le bruit : un gain inférieur à une erreur type n'est pas une découverte.

Lab : ce qui est noté

Le meilleur de 100 réglages inutiles15 pts
Le meilleur de 1010 pts
Ajustements d'une recherche sur grille10 pts
Ajustements d'une validation imbriquée15 pts
Ce qu'il reste à expliquer10 pts
Quelle recherche est honnête10 pts
Validation imbriquée10 pts
Pourquoi le score du gagnant est gonflé20 pts

0/ 8 traités

1Réponse numérique15 ptsSans réponse

Chacun de $100$ réglages inutiles a un IC avec un bruit d'écart type $0{,}02$ . Le meilleur attendu vaut $\sigma z_N$ avec $z_{100}=2{,}51$ . Que vaut-il ? Donnez trois décimales.

m =

accepté : ± 0.001

2Réponse numérique10 ptsSans réponse

Avec seulement $N=10$ réglages inutiles, $z_{10}=1{,}54$ et $\sigma=0{,}02$ . Quel est l'IC attendu du meilleur ? Donnez trois décimales.

m =

accepté : ± 0.001

3Réponse numérique10 ptsSans réponse

Une recherche sur grille essaie $C=20$ candidats avec $K=5$ plis chacun. Combien d'ajustements lance-t-elle, sans compter un réajustement final ?

n =

accepté : ± 0.01

4Réponse numérique15 ptsSans réponse

Une validation imbriquée a $K_o=5$ plis externes, $K_i=3$ plis internes et $C=20$ candidats, plus un réajustement par pli externe. Combien d'ajustements faut-il, $K_o(K_iC+1)$ ?

n =

accepté : ± 0.01

5Réponse numérique10 ptsSans réponse

Votre gagnant obtient un IC de $0{,}060$ et le meilleur attendu de $100$ réglages inutiles est $0{,}050$ . Quelle part du score dépasse ce que le hasard donnerait seul ? Donnez trois décimales.

x =

accepté : ± 0.001

6Choix10 ptsSans réponse

Quelle procédure donne une estimation honnête de ce que fera le modèle réglé sur de nouvelles données ?

7Remettre les étapes dans l'ordre10 ptsSans réponse

Mettez dans l'ordre les étapes de la validation croisée imbriquée.

Faites glisser pour réordonner, ou placez le focus sur un élément, Espace pour le soulever, les flèches pour le déplacer et Espace pour le déposer.

1Noter le modèle réajusté sur le pli de test externe
2Mettre de côté un pli de test externe
3Réajuster le meilleur réglage sur tout l'ensemble d'entraînement externe
4Chercher les réglages par validation croisée interne sur les données d'entraînement externes

8Expliquer avec des mots20 ptsSans réponse

En une ou deux phrases, expliquez pourquoi le meilleur score de validation trouvé par une grande recherche d'hyperparamètres surestime ce que fera le modèle sur de nouvelles données.

Noté sur :Le score de chaque réglage contient du hasard, et prendre le maximum de nombreux scores bruités sélectionne le plus chanceuxCe hasard ne se répétera pas sur de nouvelles données, donc la vraie performance est plus basse0 / 400 caractères

Mode mathsSaisie au clavier ou en LaTeXExercice 1 sur 8 · Ctrl ⏎ pour vérifier

Recherche d'hyperparamètres sans surapprentissage

Position dans le parcoursModule 3 sur 4 · Sujet 6 sur 6

3.6 Recherche d'hyperparamètres sans surapprentissage

—Score du lab— / 100XP total—Série—

Le gagnant d'une recherche est flatté

E\left[\max_{i\le N}s_i\right]\approx\sigma\,z_N,\qquad z_{10}=1.54,\quad z_{100}=2.51;\qquad K\cdot C,\qquad K_{o}\,(K_{i}C+1)

(1)

Compter et une vraie grilleVingt candidats avec

5

plis coûtent

100

ajustements, plus un réajustement final. La validation imbriquée avec

5

plis externes,

3

plis internes et

20

candidats coûte

5\times(3\times20+1)=305

ajustements. Le meilleur de

100

réglages inutiles est attendu à

2{,}51\times0{,}02=0{,}050

, et le meilleur de

10

1{,}54\times0{,}02=0{,}031

. Si votre gagnant obtient

0{,}060

, il ne reste que

0{,}060-0{,}050=0{,}010

à expliquer. Sur le vrai panel mensuel d'actions, ridge n'a rien à régler : le coefficient d'information est de

0{,}033

pour tout

\alpha

0{,}01

10^{4}

. Cinq profondeurs d'arbre de

1

10

donnent un IC entre

-0{,}010

0{,}013

, et le meilleur,

0{,}013

, est à environ une erreur type (

0{,}21/\sqrt{257}=0{,}013

) de zéro.

Le maximum du bruit n'est pas du bruit : le meilleur de nombreux réglages inutiles ressemble à du talent.
La validation imbriquée note toute la procédure, recherche comprise, pour $K_o(K_iC+1)$ ajustements.
Comparez avec le bruit : un gain inférieur à une erreur type n'est pas une découverte.

Lab : ce qui est noté

Le meilleur de 100 réglages inutiles15 pts
Le meilleur de 1010 pts
Ajustements d'une recherche sur grille10 pts
Ajustements d'une validation imbriquée15 pts
Ce qu'il reste à expliquer10 pts
Quelle recherche est honnête10 pts
Validation imbriquée10 pts
Pourquoi le score du gagnant est gonflé20 pts

0/ 8 traités

1Réponse numérique15 ptsSans réponse

Chacun de $100$ réglages inutiles a un IC avec un bruit d'écart type $0{,}02$ . Le meilleur attendu vaut $\sigma z_N$ avec $z_{100}=2{,}51$ . Que vaut-il ? Donnez trois décimales.

m =

accepté : ± 0.001

2Réponse numérique10 ptsSans réponse

Avec seulement $N=10$ réglages inutiles, $z_{10}=1{,}54$ et $\sigma=0{,}02$ . Quel est l'IC attendu du meilleur ? Donnez trois décimales.

m =

accepté : ± 0.001

3Réponse numérique10 ptsSans réponse

Une recherche sur grille essaie $C=20$ candidats avec $K=5$ plis chacun. Combien d'ajustements lance-t-elle, sans compter un réajustement final ?

n =

accepté : ± 0.01

4Réponse numérique15 ptsSans réponse

Une validation imbriquée a $K_o=5$ plis externes, $K_i=3$ plis internes et $C=20$ candidats, plus un réajustement par pli externe. Combien d'ajustements faut-il, $K_o(K_iC+1)$ ?

n =

accepté : ± 0.01

5Réponse numérique10 ptsSans réponse

Votre gagnant obtient un IC de $0{,}060$ et le meilleur attendu de $100$ réglages inutiles est $0{,}050$ . Quelle part du score dépasse ce que le hasard donnerait seul ? Donnez trois décimales.

x =

accepté : ± 0.001

6Choix10 ptsSans réponse

Quelle procédure donne une estimation honnête de ce que fera le modèle réglé sur de nouvelles données ?

7Remettre les étapes dans l'ordre10 ptsSans réponse

Mettez dans l'ordre les étapes de la validation croisée imbriquée.

Faites glisser pour réordonner, ou placez le focus sur un élément, Espace pour le soulever, les flèches pour le déplacer et Espace pour le déposer.

1Noter le modèle réajusté sur le pli de test externe
2Mettre de côté un pli de test externe
3Réajuster le meilleur réglage sur tout l'ensemble d'entraînement externe
4Chercher les réglages par validation croisée interne sur les données d'entraînement externes

8Expliquer avec des mots20 ptsSans réponse

En une ou deux phrases, expliquez pourquoi le meilleur score de validation trouvé par une grande recherche d'hyperparamètres surestime ce que fera le modèle sur de nouvelles données.

Mode mathsSaisie au clavier ou en LaTeXExercice 1 sur 8 · Ctrl ⏎ pour vérifier

Recherche d'hyperparamètres sans surapprentissage

Le gagnant d'une recherche est flatté

Lab : ce qui est noté

Connectez-vous pour exécuter votre code.

Recherche d'hyperparamètres sans surapprentissage

Le gagnant d'une recherche est flatté

Lab : ce qui est noté

Connectez-vous pour exécuter votre code.