动量 RMSProp 与 Adam

记住过去的梯度

普通的梯度步把每次迭代孤立看待，所以在狭窄山谷里来回锯齿，在平坦处爬行。动量保留一个速度，即过去梯度的滚动累加： $\mathbf v\leftarrow\beta\mathbf v+\mathbf g$ ， $\mathbf w\leftarrow\mathbf w-\eta\mathbf v$ 。方向一致的梯度会不断累加，符号来回翻转的梯度则相互抵消。梯度恒定时速度趋于梯度的 $1/(1-\beta)$ 倍，所以 $\beta=0.9$ 最终的步长是普通下降的十倍。

\mathbf v\leftarrow\beta\mathbf v+\mathbf g,\qquad \mathbf w\leftarrow\mathbf w-\eta\mathbf v,\qquad \mathbf v_{\infty}=\frac{\mathbf g}{1-\beta}

(1)

RMSProp 解决另一个问题，即各参数尺度不同。它为每个坐标跟踪梯度平方的滑动平均 $s$ ，并把步长除以 $\sqrt{s}$ ，于是梯度大且噪声大的坐标步子小，梯度小的坐标步子大。Adam 把两种想法合在一起：对梯度取平均（ $m$ ，动量部分），对梯度平方取平均（ $v$ ，RMSProp 部分）。两个平均都从零开始，起初偏小，所以 Adam 除以 $1-\beta^{t}$ 来纠正这一偏差。常用默认值为 $\beta_1=0.9$ 、 $\beta_2=0.999$ 、 $\eta=10^{-3}$ 。

s\leftarrow\rho s+(1-\rho)g^{2},\qquad w\leftarrow w-\eta\frac{g}{\sqrt{s}+\varepsilon}

(2)

m\leftarrow\beta_1 m+(1-\beta_1)g,\quad v\leftarrow\beta_2 v+(1-\beta_2)g^{2},\quad \hat m=\frac{m}{1-\beta_1^{t}},\ \ \hat v=\frac{v}{1-\beta_2^{t}},\quad w\leftarrow w-\eta\frac{\hat m}{\sqrt{\hat v}+\varepsilon}

(3)

手算三种更新动量取

\beta=0.9

、

\eta=0.1

、恒定梯度

g=1

：

v_1=1

、

v_2=1.9

、

v_3=2.71

，所以第三步长度为

0.271

，而普通下降是

0.1

。RMSProp 取

\rho=0.9

、

g=2

：

s_1=0.1\cdot4=0.4

，

g/\sqrt{s_1}=3.16

，步长被放大约

3.16

倍。Adam 在

t=1

、

g=2

：

m=0.2

、

v=0.004

，故

\hat m=2

、

\hat v=4

，步长为

\eta\cdot2/2=\eta

，与

g

的大小无关。

动量：平滑锯齿，并在方向一致时加速。
RMSProp：把每个坐标除以其梯度的滑动均方根。
Adam：两者兼有，再加上因平均从零开始而做的偏差校正。

Adam 是默认选项而非保证由于 Adam 的步长无论梯度大小每个坐标都约为

\eta

，

\eta

就成了主要的调节旋钮：太大则损失来回跳，太小则训练爬行。在噪声大的问题上让

\eta

随时间衰减，并在相信 Adam 的结果之前与调好的带动量 SGD 比较，因为两者可能停在不同的极小点。

实验：评分内容

动量速度15 分
长期放大倍数15 分
RMSProp 平均10 分
RMSProp 步长倍率15 分
Adam 的第一步15 分
配对方法与思想15 分
为什么按坐标缩放有帮助15 分

记住过去的梯度

\mathbf v\leftarrow\beta\mathbf v+\mathbf g,\qquad \mathbf w\leftarrow\mathbf w-\eta\mathbf v,\qquad \mathbf v_{\infty}=\frac{\mathbf g}{1-\beta}

(1)

s\leftarrow\rho s+(1-\rho)g^{2},\qquad w\leftarrow w-\eta\frac{g}{\sqrt{s}+\varepsilon}

(2)

m\leftarrow\beta_1 m+(1-\beta_1)g,\quad v\leftarrow\beta_2 v+(1-\beta_2)g^{2},\quad \hat m=\frac{m}{1-\beta_1^{t}},\ \ \hat v=\frac{v}{1-\beta_2^{t}},\quad w\leftarrow w-\eta\frac{\hat m}{\sqrt{\hat v}+\varepsilon}

(3)

手算三种更新动量取

\beta=0.9

、

\eta=0.1

、恒定梯度

g=1

：

v_1=1

、

v_2=1.9

、

v_3=2.71

，所以第三步长度为

0.271

，而普通下降是

0.1

。RMSProp 取

\rho=0.9

、

g=2

：

s_1=0.1\cdot4=0.4

，

g/\sqrt{s_1}=3.16

，步长被放大约

3.16

倍。Adam 在

t=1

、

g=2

：

m=0.2

、

v=0.004

，故

\hat m=2

、

\hat v=4

，步长为

\eta\cdot2/2=\eta

，与

g

的大小无关。

动量：平滑锯齿，并在方向一致时加速。
RMSProp：把每个坐标除以其梯度的滑动均方根。
Adam：两者兼有，再加上因平均从零开始而做的偏差校正。

Adam 是默认选项而非保证由于 Adam 的步长无论梯度大小每个坐标都约为

\eta

，

\eta

就成了主要的调节旋钮：太大则损失来回跳，太小则训练爬行。在噪声大的问题上让

\eta

随时间衰减，并在相信 Adam 的结果之前与调好的带动量 SGD 比较，因为两者可能停在不同的极小点。

实验：评分内容

动量速度15 分
长期放大倍数15 分
RMSProp 平均10 分
RMSProp 步长倍率15 分
Adam 的第一步15 分
配对方法与思想15 分
为什么按坐标缩放有帮助15 分

记住过去的梯度

实验：评分内容

登录后即可运行你的代码。

动量 RMSProp 与 Adam

记住过去的梯度

实验：评分内容

登录后即可运行你的代码。