Passos de gradiente simples tratam cada iteração isoladamente, então fazem zigue-zague em vales estreitos e se arrastam nos planos. O momento guarda uma velocidade, soma corrente dos gradientes passados: v←βv+g, w←w−ηv. Gradientes que apontam no mesmo sentido se somam, e os que trocam de sinal se cancelam. Com gradiente constante a velocidade cresce rumo a 1/(1−β) vezes o gradiente, então β=0.9 acaba dando passos dez vezes maiores que a descida simples.
v←βv+g,w←w−ηv,v∞=1−βg(1)
O RMSProp resolve outro problema, o de parâmetros em escalas diferentes. Ele acompanha uma média móvel s do quadrado do gradiente de cada coordenada e divide o passo por s, de modo que uma coordenada com gradiente grande e ruidoso dá passos pequenos e uma com gradiente pequeno dá passos maiores. O Adam combina as duas ideias: faz a média do gradiente (m, a parte do momento) e do gradiente ao quadrado (v, a parte RMSProp). As duas médias começam em zero, o que as deixa pequenas demais nos primeiros passos, então o Adam divide por 1−βt para corrigir esse viés. Os valores usuais são β1=0.9, β2=0.999 e η=10−3.
Três atualizações à mãoMomento com β=0.9, η=0.1 e gradiente constante g=1: v1=1, v2=1.9, v3=2.71, então o terceiro passo mede 0.271 contra 0.1 da descida simples. RMSProp com ρ=0.9 e g=2: s1=0.1⋅4=0.4 e g/s1=3.16, um passo amplificado cerca de 3.16 vezes. Adam em t=1 com g=2: m=0.2, v=0.004, logo m^=2, v^=4 e o passo é η⋅2/2=η, seja qual for o tamanho de g.
Momento: suaviza o zigue-zague e acelera em direções consistentes.
RMSProp: divide cada coordenada pela raiz da média quadrática móvel do seu gradiente.
Adam: ambos, mais uma correção de viés porque as médias começam em zero.
Adam é um padrão, não uma garantiaComo o passo do Adam é cerca de η por coordenada seja qual for o tamanho do gradiente, η vira o principal botão de ajuste: grande demais e a perda quica, pequeno demais e o treino se arrasta. Reduza η ao longo do tempo em problemas ruidosos e compare com um SGD com momento bem ajustado antes de confiar no resultado do Adam, pois os dois podem se acomodar em mínimos diferentes.
Lab: o que é avaliado
Velocidade do momento15 pts
A amplificação de longo prazo15 pts
Média do RMSProp10 pts
A escala do passo do RMSProp15 pts
O primeiro passo do Adam15 pts
Associar método e ideia15 pts
Por que a escala por coordenada ajuda15 pts
0/ 7 respondidas
1Resposta numérica15 ptsSem resposta
Com β=0.9 e gradiente constante g=1, a partir de v0=0, qual é a velocidade v3 após três atualizações v←βv+g?
v3=aceito: ± 0.01
2Resposta numérica15 ptsSem resposta
Com gradiente constante, a velocidade tende a g/(1−β). Por qual fator β=0.9 acaba multiplicando o passo em relação à descida simples?
amp=aceito: ± 0.05
3Resposta numérica10 ptsSem resposta
O RMSProp com ρ=0.9, a partir de s0=0, vê o gradiente g=2. Quanto vale s1=ρs0+(1−ρ)g2?
s1=aceito: ± 0.005
4Resposta numérica15 ptsSem resposta
O passo do RMSProp é ηg/s1. Para g=2 e s1=0.4, quanto vale g/s1? Dê com duas casas decimais.
scale=aceito: ± 0.02
5Resposta numérica15 ptsSem resposta
O Adam em t=1 com β1=0.9, β2=0.999 e g=2 tem m=0.2 e v=0.004. Após a correção de viés seu passo é ηm^/v^. Quantas vezes η ele se move?
adam1=aceito: ± 0.01
6Associar15 ptsSem resposta
Associe cada método à sua ideia principal.
Escolha o par de cada item da esquerda.
Momento
RMSProp
Adam
Correção de viés
7Explicar com palavras15 ptsSem resposta
Em uma ou duas frases, diga por que dividir o passo de cada coordenada pelo tamanho de seus gradientes recentes ajuda quando os parâmetros têm escalas muito diferentes.
Modo matemáticaEntrada por teclado ou LaTeXTarefa 1 de 7 · Ctrl ⏎ para verificar
