Momentum RMSProp et Adam

Se souvenir des gradients passés

Les pas de gradient simples traitent chaque itération isolément : ils zigzaguent dans les vallées étroites et rampent sur les plates. Le momentum garde une vitesse, somme glissante des gradients passés : $\mathbf v\leftarrow\beta\mathbf v+\mathbf g$ , $\mathbf w\leftarrow\mathbf w-\eta\mathbf v$ . Les gradients de même sens s'additionnent, ceux qui changent de signe s'annulent. Avec un gradient constant la vitesse tend vers $1/(1-\beta)$ fois le gradient : $\beta=0.9$ finit par faire des pas dix fois plus grands que la descente simple.

\mathbf v\leftarrow\beta\mathbf v+\mathbf g,\qquad \mathbf w\leftarrow\mathbf w-\eta\mathbf v,\qquad \mathbf v_{\infty}=\frac{\mathbf g}{1-\beta}

(1)

RMSProp corrige un autre problème, celui des paramètres d'échelles différentes. Il suit une moyenne glissante $s$ du carré du gradient de chaque coordonnée et divise le pas par $\sqrt{s}$ : une coordonnée au gradient grand et bruité fait de petits pas, une coordonnée au petit gradient en fait de plus grands. Adam combine les deux idées : il moyenne le gradient ( $m$ , la partie momentum) et le gradient au carré ( $v$ , la partie RMSProp). Les deux moyennes partent de zéro, donc trop petites au début ; Adam divise par $1-\beta^{t}$ pour corriger ce biais. Les valeurs usuelles sont $\beta_1=0.9$ , $\beta_2=0.999$ et $\eta=10^{-3}$ .

s\leftarrow\rho s+(1-\rho)g^{2},\qquad w\leftarrow w-\eta\frac{g}{\sqrt{s}+\varepsilon}

(2)

m\leftarrow\beta_1 m+(1-\beta_1)g,\quad v\leftarrow\beta_2 v+(1-\beta_2)g^{2},\quad \hat m=\frac{m}{1-\beta_1^{t}},\ \ \hat v=\frac{v}{1-\beta_2^{t}},\quad w\leftarrow w-\eta\frac{\hat m}{\sqrt{\hat v}+\varepsilon}

(3)

Trois mises à jour à la mainMomentum avec

\beta=0.9

\eta=0.1

et un gradient constant

g=1

v_1=1

v_2=1.9

v_3=2.71

, donc le troisième pas mesure

0.271

contre

0.1

pour la descente simple. RMSProp avec

\rho=0.9

g=2

s_1=0.1\cdot4=0.4

g/\sqrt{s_1}=3.16

, un pas amplifié d'environ

3.16

. Adam à

t=1

avec

g=2

m=0.2

v=0.004

, d'où

\hat m=2

\hat v=4

et le pas vaut

\eta\cdot2/2=\eta

, quelle que soit la taille de

g

Momentum : lisse le zigzag et accélère le long des directions constantes.
RMSProp : divise chaque coordonnée par la racine de la moyenne quadratique glissante de son gradient.
Adam : les deux, plus une correction de biais car les moyennes partent de zéro.

Adam est un défaut, pas une garantieComme le pas d'Adam vaut environ

\eta

par coordonnée quelle que soit la taille du gradient,

\eta

devient le principal bouton de réglage : trop grand, la perte rebondit, trop petit, l'entraînement rampe. Faites décroître

\eta

au fil du temps sur les problèmes bruités, et comparez avec une SGD à momentum bien réglée avant de croire le résultat d'Adam, car les deux peuvent s'arrêter dans des minima différents.

Lab : ce qui est noté

Vitesse du momentum15 pts
L'amplification à long terme15 pts
Moyenne de RMSProp10 pts
L'échelle du pas RMSProp15 pts
Le premier pas d'Adam15 pts
Associer méthode et idée15 pts
Pourquoi l'échelle par coordonnée aide15 pts

Se souvenir des gradients passés

\mathbf v\leftarrow\beta\mathbf v+\mathbf g,\qquad \mathbf w\leftarrow\mathbf w-\eta\mathbf v,\qquad \mathbf v_{\infty}=\frac{\mathbf g}{1-\beta}

(1)

s\leftarrow\rho s+(1-\rho)g^{2},\qquad w\leftarrow w-\eta\frac{g}{\sqrt{s}+\varepsilon}

(2)

m\leftarrow\beta_1 m+(1-\beta_1)g,\quad v\leftarrow\beta_2 v+(1-\beta_2)g^{2},\quad \hat m=\frac{m}{1-\beta_1^{t}},\ \ \hat v=\frac{v}{1-\beta_2^{t}},\quad w\leftarrow w-\eta\frac{\hat m}{\sqrt{\hat v}+\varepsilon}

(3)

Trois mises à jour à la mainMomentum avec

\beta=0.9

\eta=0.1

et un gradient constant

g=1

v_1=1

v_2=1.9

v_3=2.71

, donc le troisième pas mesure

0.271

contre

0.1

pour la descente simple. RMSProp avec

\rho=0.9

g=2

s_1=0.1\cdot4=0.4

g/\sqrt{s_1}=3.16

, un pas amplifié d'environ

3.16

. Adam à

t=1

avec

g=2

m=0.2

v=0.004

, d'où

\hat m=2

\hat v=4

et le pas vaut

\eta\cdot2/2=\eta

, quelle que soit la taille de

g

Momentum : lisse le zigzag et accélère le long des directions constantes.
RMSProp : divise chaque coordonnée par la racine de la moyenne quadratique glissante de son gradient.
Adam : les deux, plus une correction de biais car les moyennes partent de zéro.

Adam est un défaut, pas une garantieComme le pas d'Adam vaut environ

\eta

par coordonnée quelle que soit la taille du gradient,

\eta

devient le principal bouton de réglage : trop grand, la perte rebondit, trop petit, l'entraînement rampe. Faites décroître

\eta

au fil du temps sur les problèmes bruités, et comparez avec une SGD à momentum bien réglée avant de croire le résultat d'Adam, car les deux peuvent s'arrêter dans des minima différents.

Lab : ce qui est noté

Vitesse du momentum15 pts
L'amplification à long terme15 pts
Moyenne de RMSProp10 pts
L'échelle du pas RMSProp15 pts
Le premier pas d'Adam15 pts
Associer méthode et idée15 pts
Pourquoi l'échelle par coordonnée aide15 pts

Se souvenir des gradients passés

Lab : ce qui est noté

Connectez-vous pour exécuter votre code.

Momentum RMSProp et Adam

Se souvenir des gradients passés

Lab : ce qui est noté

Connectez-vous pour exécuter votre code.