Búsqueda de hiperparámetros sin sobreajuste

Posición en la rutaMódulo 3 de 4 · Tema 6 de 6

3.6 Búsqueda de hiperparámetros sin sobreajuste

—Puntuación del lab— / 100XP total—Racha—

El ganador de una búsqueda sale favorecido

Una búsqueda de hiperparámetros prueba muchos ajustes, puntúa cada uno con datos de validación y se queda con el mejor. El problema es que la mejor de muchas puntuaciones ruidosas tiene sesgo al alza, aunque ningún ajuste tenga habilidad. Si $N$ ajustes tienen cada uno una puntuación de puro ruido con desviación típica $\sigma$ , el mejor esperado es de unos $\sigma\times z_N$ , con $z_{10}=1{,}54$ y $z_{100}=2{,}51$ . Con un ruido de IC de $\sigma=0{,}02$ , el ganador de $100$ ajustes inútiles parece $0{,}050$ , una señal respetable que no existe. Informar la puntuación de validación del ganador como su rendimiento es, pues, optimista, y cuantos más ajustes se prueban, peor.

E\left[\max_{i\le N}s_i\right]\approx\sigma\,z_N,\qquad z_{10}=1.54,\quad z_{100}=2.51;\qquad K\cdot C,\qquad K_{o}\,(K_{i}C+1)

(1)

Hay tres remedios honestos. Primero, guardar un conjunto de prueba que la búsqueda nunca ve e informar solo su puntuación. Segundo, usar validación cruzada anidada: un bucle externo aparta un pliegue de prueba y dentro de cada conjunto de entrenamiento externo un bucle interno hace la búsqueda. Las puntuaciones externas miden todo el procedimiento, búsqueda incluida. Tercero, reducir la búsqueda: menos ajustes, rejillas más gruesas y ajustes que importen. Con $K_o$ pliegues externos, $K_i$ internos y $C$ candidatos, la validación anidada necesita $K_o(K_iC+1)$ ajustes, así que hay que presupuestarlo. Y antes de buscar, pregunte si el ajuste puede importar.

Contar y una rejilla realVeinte candidatos con

5

pliegues cuestan

100

ajustes, más un reajuste final. La validación anidada con

5

pliegues externos,

3

internos y

20

candidatos cuesta

5\times(3\times20+1)=305

ajustes. El mejor de

100

ajustes inútiles se espera en

2{,}51\times0{,}02=0{,}050

, y el mejor de

10

1{,}54\times0{,}02=0{,}031

. Si su ganador puntúa

0{,}060

, solo quedan

0{,}060-0{,}050=0{,}010

por explicar. En el panel mensual real de acciones, ridge no tiene nada que afinar: el coeficiente de información es

0{,}033

para todo

\alpha

0{,}01

10^{4}

. Cinco profundidades de árbol de

1

10

dan un IC entre

-0{,}010

0{,}013

, y la mejor,

0{,}013

, está a cerca de un error estándar (

0{,}21/\sqrt{257}=0{,}013

) de cero.

El máximo del ruido no es ruido: el mejor de muchos ajustes inútiles parece habilidad.
La validación anidada puntúa todo el procedimiento, búsqueda incluida, con $K_o(K_iC+1)$ ajustes.
Compare con el ruido: una mejora menor que un error estándar no es un hallazgo.

Lab: qué se califica

El mejor de 100 ajustes inútiles15 pts
El mejor de 1010 pts
Ajustes de una búsqueda en rejilla10 pts
Ajustes de una validación anidada15 pts
Lo que queda por explicar10 pts
Qué búsqueda es honesta10 pts
Validación anidada10 pts
Por qué la puntuación del ganador está inflada20 pts

0/ 8 respondidos

1Respuesta numérica15 ptsSin responder

Cada uno de $100$ ajustes inútiles tiene un IC con ruido de desviación típica $0{,}02$ . El mejor esperado es $\sigma z_N$ con $z_{100}=2{,}51$ . ¿Cuánto vale? Dé tres decimales.

m =

aceptado: ± 0.001

2Respuesta numérica10 ptsSin responder

Con solo $N=10$ ajustes inútiles, $z_{10}=1{,}54$ y $\sigma=0{,}02$ . ¿Cuál es el IC esperado del mejor? Dé tres decimales.

m =

aceptado: ± 0.001

3Respuesta numérica10 ptsSin responder

Una búsqueda en rejilla prueba $C=20$ candidatos con $K=5$ pliegues cada uno. ¿Cuántos ajustes ejecuta, sin contar un reajuste final?

n =

aceptado: ± 0.01

4Respuesta numérica15 ptsSin responder

Una validación anidada tiene $K_o=5$ pliegues externos, $K_i=3$ internos y $C=20$ candidatos, más un reajuste por pliegue externo. ¿Cuántos ajustes hacen falta, $K_o(K_iC+1)$ ?

n =

aceptado: ± 0.01

5Respuesta numérica10 ptsSin responder

Su ganador obtiene un IC de $0{,}060$ y el mejor esperado de $100$ ajustes inútiles es $0{,}050$ . ¿Cuánta parte de la puntuación supera lo que daría el azar solo? Dé tres decimales.

x =

aceptado: ± 0.001

6Elección10 ptsSin responder

¿Qué procedimiento da una estimación honesta de cómo rendirá el modelo ajustado con datos nuevos?

7Ordenar los pasos10 ptsSin responder

Ponga en orden los pasos de la validación cruzada anidada.

Arrastra para reordenar, o enfoca un elemento, pulsa Espacio para levantarlo, las flechas para moverlo y Espacio para soltarlo.

1Puntuar el modelo reajustado en el pliegue de prueba externo
2Apartar un pliegue de prueba externo
3Reajustar el mejor ajuste en todo el conjunto de entrenamiento externo
4Buscar los ajustes con una validación cruzada interna en los datos de entrenamiento externos

8Explicar con palabras20 ptsSin responder

En una o dos frases, explique por qué la mejor puntuación de validación hallada por una gran búsqueda de hiperparámetros sobrestima cómo rendirá el modelo con datos nuevos.

Se califica por:La puntuación de cada ajuste incluye suerte, y elegir el máximo de muchas puntuaciones ruidosas selecciona la más afortunadaEsa suerte no se repetirá con datos nuevos, así que el rendimiento real es menor0 / 400 caracteres

Modo matemáticasEntrada por teclado o LaTeXEjercicio 1 de 8 · Ctrl ⏎ para comprobar

Búsqueda de hiperparámetros sin sobreajuste

Posición en la rutaMódulo 3 de 4 · Tema 6 de 6

3.6 Búsqueda de hiperparámetros sin sobreajuste

—Puntuación del lab— / 100XP total—Racha—

El ganador de una búsqueda sale favorecido

E\left[\max_{i\le N}s_i\right]\approx\sigma\,z_N,\qquad z_{10}=1.54,\quad z_{100}=2.51;\qquad K\cdot C,\qquad K_{o}\,(K_{i}C+1)

(1)

Contar y una rejilla realVeinte candidatos con

5

pliegues cuestan

100

ajustes, más un reajuste final. La validación anidada con

5

pliegues externos,

3

internos y

20

candidatos cuesta

5\times(3\times20+1)=305

ajustes. El mejor de

100

ajustes inútiles se espera en

2{,}51\times0{,}02=0{,}050

, y el mejor de

10

1{,}54\times0{,}02=0{,}031

. Si su ganador puntúa

0{,}060

, solo quedan

0{,}060-0{,}050=0{,}010

por explicar. En el panel mensual real de acciones, ridge no tiene nada que afinar: el coeficiente de información es

0{,}033

para todo

\alpha

0{,}01

10^{4}

. Cinco profundidades de árbol de

1

10

dan un IC entre

-0{,}010

0{,}013

, y la mejor,

0{,}013

, está a cerca de un error estándar (

0{,}21/\sqrt{257}=0{,}013

) de cero.

El máximo del ruido no es ruido: el mejor de muchos ajustes inútiles parece habilidad.
La validación anidada puntúa todo el procedimiento, búsqueda incluida, con $K_o(K_iC+1)$ ajustes.
Compare con el ruido: una mejora menor que un error estándar no es un hallazgo.

Lab: qué se califica

El mejor de 100 ajustes inútiles15 pts
El mejor de 1010 pts
Ajustes de una búsqueda en rejilla10 pts
Ajustes de una validación anidada15 pts
Lo que queda por explicar10 pts
Qué búsqueda es honesta10 pts
Validación anidada10 pts
Por qué la puntuación del ganador está inflada20 pts

0/ 8 respondidos

1Respuesta numérica15 ptsSin responder

Cada uno de $100$ ajustes inútiles tiene un IC con ruido de desviación típica $0{,}02$ . El mejor esperado es $\sigma z_N$ con $z_{100}=2{,}51$ . ¿Cuánto vale? Dé tres decimales.

m =

aceptado: ± 0.001

2Respuesta numérica10 ptsSin responder

Con solo $N=10$ ajustes inútiles, $z_{10}=1{,}54$ y $\sigma=0{,}02$ . ¿Cuál es el IC esperado del mejor? Dé tres decimales.

m =

aceptado: ± 0.001

3Respuesta numérica10 ptsSin responder

Una búsqueda en rejilla prueba $C=20$ candidatos con $K=5$ pliegues cada uno. ¿Cuántos ajustes ejecuta, sin contar un reajuste final?

n =

aceptado: ± 0.01

4Respuesta numérica15 ptsSin responder

Una validación anidada tiene $K_o=5$ pliegues externos, $K_i=3$ internos y $C=20$ candidatos, más un reajuste por pliegue externo. ¿Cuántos ajustes hacen falta, $K_o(K_iC+1)$ ?

n =

aceptado: ± 0.01

5Respuesta numérica10 ptsSin responder

Su ganador obtiene un IC de $0{,}060$ y el mejor esperado de $100$ ajustes inútiles es $0{,}050$ . ¿Cuánta parte de la puntuación supera lo que daría el azar solo? Dé tres decimales.

x =

aceptado: ± 0.001

6Elección10 ptsSin responder

¿Qué procedimiento da una estimación honesta de cómo rendirá el modelo ajustado con datos nuevos?

7Ordenar los pasos10 ptsSin responder

Ponga en orden los pasos de la validación cruzada anidada.

Arrastra para reordenar, o enfoca un elemento, pulsa Espacio para levantarlo, las flechas para moverlo y Espacio para soltarlo.

1Puntuar el modelo reajustado en el pliegue de prueba externo
2Apartar un pliegue de prueba externo
3Reajustar el mejor ajuste en todo el conjunto de entrenamiento externo
4Buscar los ajustes con una validación cruzada interna en los datos de entrenamiento externos

8Explicar con palabras20 ptsSin responder

En una o dos frases, explique por qué la mejor puntuación de validación hallada por una gran búsqueda de hiperparámetros sobrestima cómo rendirá el modelo con datos nuevos.

Modo matemáticasEntrada por teclado o LaTeXEjercicio 1 de 8 · Ctrl ⏎ para comprobar

Búsqueda de hiperparámetros sin sobreajuste

El ganador de una búsqueda sale favorecido

Lab: qué se califica

Inicia sesión para ejecutar tu código.

Búsqueda de hiperparámetros sin sobreajuste

El ganador de una búsqueda sale favorecido

Lab: qué se califica

Inicia sesión para ejecutar tu código.