随机梯度下降与小批量

用少量样本估计梯度

大多数拟合问题都在最小化数据上的平均 $f(\mathbf w)=\frac1n\sum_{i=1}^{n}\ell_i(\mathbf w)$，例如 $n$ 个观测上的平方误差。精确梯度每步都要用到全部 $n$ 项，当 $n$ 是数百万笔 tick 时太慢。随机梯度下降抽取由 $b$ 个观测组成的随机小批量 $B$，改用它们的平均梯度 $g_B$。这个估计是无偏的，即平均而言等于真实梯度。

这条捷径的代价是噪声。批量梯度的方差按 $1/b$ 下降，所以把标准差减半需要把批量扩大到四倍，收益急剧递减。一个 epoch 是对数据的完整一遍，含 $n/b$ 次更新。步长恒定时迭代点永远不会安定：即使在极小点，批量梯度也不为零，所以会在极小点周围的小球里持续抖动。解决办法是让步长缩小。经典的 Robbins-Monro 条件要求 $\sum_t\eta_t=\infty$，使迭代能走到需要的远处，以及 $\sum_t\eta_t^{2}<\infty$，使噪声逐渐消失。步长表 $\eta_t=\eta_0/t$ 同时满足两者。

• 无偏：随机批量的梯度平均等于完整梯度。
• 有噪声：方差 $\sigma^2/b$，批量扩大四倍标准差减半。
• 递减步长：$\sum\eta_t=\infty$ 且 $\sum\eta_t^2<\infty$（如 $\eta_t=\eta_0/t$）可保证收敛。

实验：评分内容

• 完整梯度15 分
• 单个样本的噪声15 分
• 批量的噪声15 分
• 每个 epoch 的更新次数15 分
• 能收敛的步长表15 分
• 小批量循环10 分
• 为什么恒定步长不会安定15 分