Estimar el gradiente con pocas muestras
La mayoría de los problemas de ajuste minimizan un promedio sobre datos, f(w)=n1∑i=1nℓi(w), por ejemplo errores cuadráticos sobre n observaciones. El gradiente exacto necesita los n términos en cada paso, lo que es demasiado lento cuando n son millones de ticks. El descenso de gradiente estocástico toma un minilote aleatorio B de b observaciones y usa en su lugar su gradiente medio gB. Esta estimación es insesgada: en promedio es igual al gradiente verdadero.
gB=b1i∈B∑∇ℓi(w),w←w−ηgB,E[gB]=∇f,Var(gB)=bσ2(1) El precio del atajo es el ruido. La varianza del gradiente del lote cae como 1/b, así que reducir a la mitad su desviación típica pide un lote cuatro veces mayor, un rendimiento muy decreciente. Una época es una pasada completa por los datos y contiene n/b actualizaciones. Con paso constante las iteraciones nunca se asientan: siguen temblando en una pequeña bola alrededor del mínimo, porque incluso en el mínimo el gradiente del lote no es cero. El remedio es un paso que se encoge. Las condiciones clásicas de Robbins-Monro piden ∑tηt=∞, para poder llegar tan lejos como haga falta, y ∑tηt2<∞, para que el ruido se apague. El calendario ηt=η0/t cumple ambas.
Cuatro datosAjustemos un nivel
w a los datos
x=2,4,6,12 con la pérdida
ℓi=21(w−xi)2, de gradiente
w−xi. En
w=0 los cuatro gradientes individuales son
−2,−4,−6,−12 y su promedio, el gradiente completo, es
−6. Los gradientes individuales tienen varianza
416+4+0+36=14 alrededor de ese promedio. Un lote de
b=7 con reemplazo tiene entonces varianza de gradiente
14/7=2.
- Insesgado: el gradiente de un lote aleatorio es en promedio el gradiente completo.
- Ruidoso: varianza σ2/b; un lote cuatro veces mayor reduce a la mitad la desviación típica.
- Pasos decrecientes: ∑ηt=∞ y ∑ηt2<∞, p. ej. ηt=η0/t, dan convergencia.
Los datos ordenados en el tiempo no son una muestra aleatoriaLa ausencia de sesgo anterior supone que el lote se toma al azar. Un lote de días consecutivos viene de un solo régimen de mercado; su gradiente está sesgado hacia ese régimen, y entrenar con los datos en orden temporal puede derivar con el régimen. Mezcle los índices de las muestras al empezar cada época. Cuando el orden importa, como en un modelo de series temporales, conserve la secuencia dentro de cada ejemplo y mezcle los ejemplos.
Lab: qué se califica
- El gradiente completo15 pts
- El ruido de una muestra15 pts
- El ruido de un lote15 pts
- Actualizaciones por época15 pts
- Un calendario de pasos que converge15 pts
- El bucle de minilotes10 pts
- Por qué un paso constante no se asienta15 pts
