Position in der SkillModul 2 von 5 · Thema 3 von 3
2.3 Momentum RMSProp und Adam
—Lab-Punkte— / 100XP gesamt—Serie—
Sich an frühere Gradienten erinnern
Einfache Gradientenschritte behandeln jede Iteration für sich, daher zickzacken sie durch schmale Täler und kriechen über flache. Momentum führt eine Geschwindigkeit mit, eine laufende Summe vergangener Gradienten: v←βv+g, w←w−ηv. Gleichgerichtete Gradienten addieren sich, solche mit wechselndem Vorzeichen heben sich auf. Bei konstantem Gradienten wächst die Geschwindigkeit auf das 1/(1−β)-Fache des Gradienten, sodass β=0.9 am Ende zehnmal größere Schritte macht als einfacher Abstieg.
v←βv+g,w←w−ηv,v∞=1−βg(1)
RMSProp löst ein anderes Problem, Parameter in verschiedenen Größenordnungen. Es führt einen gleitenden Mittelwert s des quadrierten Gradienten jeder Koordinate und teilt den Schritt durch s: Eine Koordinate mit großem, verrauschtem Gradienten macht kleine Schritte, eine mit kleinem Gradienten größere. Adam verbindet beide Ideen: Es mittelt den Gradienten (m, der Momentum-Teil) und den quadrierten Gradienten (v, der RMSProp-Teil). Beide Mittel starten bei null und sind anfangs zu klein, deshalb teilt Adam durch 1−βt, um diese Verzerrung zu korrigieren. Übliche Standardwerte sind β1=0.9, β2=0.999 und η=10−3.
Drei Updates von HandMomentum mit β=0.9, η=0.1 und konstantem Gradienten g=1: v1=1, v2=1.9, v3=2.71, der dritte Schritt hat also die Länge 0.271 gegenüber 0.1 beim einfachen Abstieg. RMSProp mit ρ=0.9 und g=2: s1=0.1⋅4=0.4 und g/s1=3.16, ein um etwa 3.16 verstärkter Schritt. Adam bei t=1 mit g=2: m=0.2, v=0.004, also m^=2, v^=4, und der Schritt ist η⋅2/2=η, egal wie groß g ist.
Momentum: glättet das Zickzack und beschleunigt entlang konsistenter Richtungen.
RMSProp: teilt jede Koordinate durch die laufende Wurzel des mittleren Quadrats ihres Gradienten.
Adam: beides, plus eine Verzerrungskorrektur, weil die Mittel bei null starten.
Adam ist eine Voreinstellung, keine GarantieDa der Schritt von Adam unabhängig von der Gradientengröße etwa η pro Koordinate beträgt, wird η zum wichtigsten Stellrad: zu groß, und der Verlust springt, zu klein, und das Training kriecht. Lassen Sie η bei verrauschten Problemen mit der Zeit abnehmen und vergleichen Sie mit gut abgestimmtem SGD mit Momentum, bevor Sie dem Ergebnis von Adam trauen, denn beide können in verschiedenen Minima landen.
Lab: Was bewertet wird
Momentum-Geschwindigkeit15 Pkt.
Die langfristige Verstärkung15 Pkt.
RMSProp-Mittel10 Pkt.
Die RMSProp-Schrittskala15 Pkt.
Der erste Adam-Schritt15 Pkt.
Methode und Idee zuordnen15 Pkt.
Warum Skalierung pro Koordinate hilft15 Pkt.
0/ 7 beantwortet
1Numerische Antwort15 Pkt.Nicht beantwortet
Mit β=0.9 und konstantem Gradienten g=1, ab v0=0: Wie groß ist die Geschwindigkeit v3 nach drei Updates v←βv+g?
v3=akzeptiert: ± 0.01
2Numerische Antwort15 Pkt.Nicht beantwortet
Bei konstantem Gradienten strebt die Geschwindigkeit gegen g/(1−β). Um welchen Faktor vergrößert β=0.9 am Ende den Schritt gegenüber einfachem Abstieg?
amp=akzeptiert: ± 0.05
3Numerische Antwort10 Pkt.Nicht beantwortet
RMSProp mit ρ=0.9 sieht ab s0=0 den Gradienten g=2. Wie groß ist s1=ρs0+(1−ρ)g2?
s1=akzeptiert: ± 0.005
4Numerische Antwort15 Pkt.Nicht beantwortet
Der RMSProp-Schritt ist ηg/s1. Für g=2 und s1=0.4: Wie groß ist g/s1? Geben Sie zwei Dezimalstellen an.
scale=akzeptiert: ± 0.02
5Numerische Antwort15 Pkt.Nicht beantwortet
Adam bei t=1 mit β1=0.9, β2=0.999 und g=2 hat m=0.2 und v=0.004. Nach der Verzerrungskorrektur ist sein Schritt ηm^/v^. Um welches Vielfache von η bewegt er sich?
adam1=akzeptiert: ± 0.01
6Zuordnen15 Pkt.Nicht beantwortet
Ordnen Sie jeder Methode ihre Hauptidee zu.
Wähle den Partner für jedes Element links.
Momentum
RMSProp
Adam
Verzerrungskorrektur
7In Worten erklären15 Pkt.Nicht beantwortet
Sagen Sie in ein bis zwei Sätzen, warum es hilft, den Schritt jeder Koordinate durch die Größe ihrer jüngsten Gradienten zu teilen, wenn Parameter sehr verschiedene Größenordnungen haben.
Mathe-ModusEingabe per Tastatur oder LaTeXAufgabe 1 von 7 · Strg ⏎ zum Prüfen
