確率的勾配降下法とミニバッチ

少数のサンプルから勾配を推定する

多くの当てはめ問題は、データ上の平均 $f(\mathbf w)=\frac1n\sum_{i=1}^{n}\ell_i(\mathbf w)$（たとえば $n$ 個の観測に対する2乗誤差）を最小化します。正確な勾配は毎ステップ $n$ 項すべてを必要とし、$n$ が数百万ティックだと遅すぎます。確率的勾配降下法は $b$ 個の観測からなるランダムなミニバッチ $B$ を引き、その平均勾配 $g_B$ を代わりに使います。この推定は不偏、つまり平均すると真の勾配に等しくなります。

近道の代償はノイズです。バッチ勾配の分散は $1/b$ で減るので、標準偏差を半分にするにはバッチを4倍にする必要があり、収穫は急速に逓減します。1エポックはデータを一巡することで、$n/b$ 回の更新を含みます。ステップが一定だと反復は落ち着きません。最小値でもバッチ勾配はゼロでないため、最小値の周りの小さな球の中で揺れ続けます。対策はステップを縮めることです。古典的なロビンス＝モンロー条件は、必要なだけ遠くへ進めるように $\sum_t\eta_t=\infty$、ノイズが消えるように $\sum_t\eta_t^{2}<\infty$ を求めます。スケジュール $\eta_t=\eta_0/t$ は両方を満たします。

• 不偏：ランダムなバッチの勾配は平均すると全勾配に等しい。
• ノイズあり：分散は $\sigma^2/b$ で、バッチを4倍にすると標準偏差は半分になる。
• 縮むステップ：$\sum\eta_t=\infty$ かつ $\sum\eta_t^2<\infty$（例 $\eta_t=\eta_0/t$）で収束します。

ラボ：採点される内容

• 全勾配15点
• 1サンプルのノイズ15点
• バッチのノイズ15点
• エポックあたりの更新回数15点
• 収束するステップのスケジュール15点
• ミニバッチのループ10点
• なぜ一定ステップは落ち着かないのか15点