الزخم وRMSProp وAdam

تذكّر التدرجات السابقة

تعامل خطوات التدرج البسيطة كل تكرار على حدة فتتعرج عبر الوديان الضيقة وتزحف على المسطحة. أما الزخم فيحتفظ بسرعة هي مجموع جارٍ للتدرجات السابقة: $\mathbf v\leftarrow\beta\mathbf v+\mathbf g$ ، $\mathbf w\leftarrow\mathbf w-\eta\mathbf v$ . فالتدرجات المتجهة في الاتجاه نفسه تتراكم، وتلك التي تتبدل إشارتها تتلاشى. ومع تدرج ثابت تنمو السرعة نحو $1/(1-\beta)$ مرة التدرج، فيأخذ $\beta=0.9$ خطوات أكبر بعشر مرات من الانحدار البسيط.

\mathbf v\leftarrow\beta\mathbf v+\mathbf g,\qquad \mathbf w\leftarrow\mathbf w-\eta\mathbf v,\qquad \mathbf v_{\infty}=\frac{\mathbf g}{1-\beta}

(1)

يعالج RMSProp مشكلة أخرى هي المعاملات ذات المقاييس المختلفة. فهو يتتبع متوسطًا جاريًا $s$ لمربع تدرج كل إحداثي ويقسم الخطوة على $\sqrt{s}$ ، فيأخذ الإحداثي ذو التدرج الكبير المشوّش خطوات صغيرة ويأخذ ذو التدرج الصغير خطوات أكبر. ويجمع Adam الفكرتين: يتوسّط التدرج ( $m$ جزء الزخم) ومربع التدرج ( $v$ جزء RMSProp). يبدأ المتوسطان من الصفر فيكونان صغيرين جدًا في الخطوات الأولى، لذا يقسم Adam على $1-\beta^{t}$ لتصحيح هذا التحيز. والقيم المعتادة $\beta_1=0.9$ و $\beta_2=0.999$ و $\eta=10^{-3}$ .

s\leftarrow\rho s+(1-\rho)g^{2},\qquad w\leftarrow w-\eta\frac{g}{\sqrt{s}+\varepsilon}

(2)

m\leftarrow\beta_1 m+(1-\beta_1)g,\quad v\leftarrow\beta_2 v+(1-\beta_2)g^{2},\quad \hat m=\frac{m}{1-\beta_1^{t}},\ \ \hat v=\frac{v}{1-\beta_2^{t}},\quad w\leftarrow w-\eta\frac{\hat m}{\sqrt{\hat v}+\varepsilon}

(3)

ثلاثة تحديثات يدويًاالزخم مع

\beta=0.9

\eta=0.1

وتدرج ثابت

g=1

v_1=1

v_2=1.9

v_3=2.71

، فتكون الخطوة الثالثة بطول

0.271

مقابل

0.1

للانحدار البسيط. RMSProp مع

\rho=0.9

g=2

s_1=0.1\cdot4=0.4

g/\sqrt{s_1}=3.16

أي خطوة مضخّمة بنحو

3.16

. Adam عند

t=1

مع

g=2

m=0.2

v=0.004

فيكون

\hat m=2

\hat v=4

والخطوة

\eta\cdot2/2=\eta

مهما كان حجم

g

الزخم: يخفف التعرج ويسرّع على الاتجاهات الثابتة.
RMSProp: يقسم كل إحداثي على الجذر التربيعي لمتوسط مربعات تدرجه الجاري.
Adam: كلاهما مع تصحيح للتحيز لأن المتوسطات تبدأ من الصفر.

Adam خيار افتراضي لا ضمانبما أن خطوة Adam نحو

\eta

لكل إحداثي مهما كان حجم التدرج، يصبح

\eta

مفتاح الضبط الرئيسي: إن كان كبيرًا جدًا ارتدّت الخسارة، وإن كان صغيرًا جدًا زحف التدريب. أنقِص

\eta

مع الزمن في المسائل المشوّشة، وقارن بـ SGD بزخم مضبوط جيدًا قبل الوثوق بنتيجة Adam، فقد يستقر الاثنان في نهايتين صغريين مختلفتين.

المختبر: ما الذي يُقيَّم

سرعة الزخم15 نقطة
التضخيم على المدى الطويل15 نقطة
متوسط RMSProp10 نقطة
مقياس خطوة RMSProp15 نقطة
خطوة Adam الأولى15 نقطة
طابق الطريقة بفكرتها15 نقطة
لماذا يفيد التحجيم لكل إحداثي15 نقطة

تذكّر التدرجات السابقة

\mathbf v\leftarrow\beta\mathbf v+\mathbf g,\qquad \mathbf w\leftarrow\mathbf w-\eta\mathbf v,\qquad \mathbf v_{\infty}=\frac{\mathbf g}{1-\beta}

(1)

s\leftarrow\rho s+(1-\rho)g^{2},\qquad w\leftarrow w-\eta\frac{g}{\sqrt{s}+\varepsilon}

(2)

m\leftarrow\beta_1 m+(1-\beta_1)g,\quad v\leftarrow\beta_2 v+(1-\beta_2)g^{2},\quad \hat m=\frac{m}{1-\beta_1^{t}},\ \ \hat v=\frac{v}{1-\beta_2^{t}},\quad w\leftarrow w-\eta\frac{\hat m}{\sqrt{\hat v}+\varepsilon}

(3)

ثلاثة تحديثات يدويًاالزخم مع

\beta=0.9

\eta=0.1

وتدرج ثابت

g=1

v_1=1

v_2=1.9

v_3=2.71

، فتكون الخطوة الثالثة بطول

0.271

مقابل

0.1

للانحدار البسيط. RMSProp مع

\rho=0.9

g=2

s_1=0.1\cdot4=0.4

g/\sqrt{s_1}=3.16

أي خطوة مضخّمة بنحو

3.16

. Adam عند

t=1

مع

g=2

m=0.2

v=0.004

فيكون

\hat m=2

\hat v=4

والخطوة

\eta\cdot2/2=\eta

مهما كان حجم

g

الزخم: يخفف التعرج ويسرّع على الاتجاهات الثابتة.
RMSProp: يقسم كل إحداثي على الجذر التربيعي لمتوسط مربعات تدرجه الجاري.
Adam: كلاهما مع تصحيح للتحيز لأن المتوسطات تبدأ من الصفر.

Adam خيار افتراضي لا ضمانبما أن خطوة Adam نحو

\eta

لكل إحداثي مهما كان حجم التدرج، يصبح

\eta

مفتاح الضبط الرئيسي: إن كان كبيرًا جدًا ارتدّت الخسارة، وإن كان صغيرًا جدًا زحف التدريب. أنقِص

\eta

المختبر: ما الذي يُقيَّم

سرعة الزخم15 نقطة
التضخيم على المدى الطويل15 نقطة
متوسط RMSProp10 نقطة
مقياس خطوة RMSProp15 نقطة
خطوة Adam الأولى15 نقطة
طابق الطريقة بفكرتها15 نقطة
لماذا يفيد التحجيم لكل إحداثي15 نقطة

تذكّر التدرجات السابقة

المختبر: ما الذي يُقيَّم

سجّل الدخول لتشغيل الكود الخاص بك.

الزخم وRMSProp وAdam

تذكّر التدرجات السابقة

المختبر: ما الذي يُقيَّم

سجّل الدخول لتشغيل الكود الخاص بك.