Metropolis-Hastings do zero

Posição no roteiroMódulo 2 de 3 · Tópico 1 de 2

2.1 Metropolis-Hastings do zero

—Nota do lab— / 100XP total—Sequência—

Explorar uma posterior que não se consegue escrever

Muitas vezes só se consegue escrever a posterior a menos de uma constante, como prior vezes verossimilhança, e não dá para somá-la nem achar sua média com álgebra. O Metropolis-Hastings constrói um passeio aleatório que visita lugares em proporção à posterior. No ponto atual $\theta$ , proponha um ponto próximo $\theta'$ , por exemplo $\theta$ mais um pouco de ruído normal. Compare as alturas posteriores com a razão $r=p(\theta')/p(\theta)$ . Se $r\ge1$ , o novo ponto é pelo menos tão bom: mova-se. Senão, mova-se com probabilidade $r$ . Se não se mover, anote de novo o ponto atual. A constante desconhecida é a mesma nas duas alturas, então se cancela na razão. É por isso que o método funciona.

r=\frac{p(\theta')}{p(\theta)},\qquad \alpha=\min(1,\,r),\qquad \ln\alpha=\min\big(0,\ \ln p(\theta')-\ln p(\theta)\big)

(1)

A lista de pontos visitados é a cadeia. Após um aquecimento, chamado burn-in, ela se comporta como uma amostra da posterior, então a média e o intervalo saem de médias e percentis simples da cadeia. O tamanho do passo é o ajuste principal. Se for pequeno demais, quase todo movimento é aceito, mas a cadeia se arrasta. Se for grande demais, a maioria das propostas cai em lugares ruins e é rejeitada, e a cadeia fica parada. Uma boa cadeia aceita de cerca de um quarto até metade das propostas. Olhe sempre a cadeia: plote-a e comece-a de pontos diferentes para ver que concordam.

Uma proposta, à mãoSeja a altura posterior

p(\theta)\propto\theta^{18}(1-\theta)^{10}

, a forma da

\mathrm{Beta}(19,11)

. De

\theta=0{,}6

proponha

\theta'=0{,}7

. A razão é

(0{,}7/0{,}6)^{18}(0{,}3/0{,}4)^{10}=0{,}903

: aceite com probabilidade

0{,}90

. Proponha em vez disso

\theta'=0{,}55

: a razão é

0{,}678

, aceite com probabilidade

0{,}68

. Nenhum dos dois cálculos precisou da constante que faz a densidade somar

1

Proposta e razão: proponha um ponto próximo e compare as alturas posteriores. A constante desconhecida se cancela.
Cadeia: os pontos visitados, repetidos quando um movimento é rejeitado. Descarte o burn-in e tire a média.
Tamanho do passo: pequeno demais se arrasta, grande demais trava. Mire em aceitar de um quarto a metade.

Lab: o que é avaliado

Uma boa proposta15 pts
Uma proposta pior15 pts
Uma log-razão10 pts
Tirar a média de uma cadeia10 pts
Um passo grande demais10 pts
Uma iteração10 pts
Associar o vocabulário15 pts
Por que a constante não é necessária15 pts

0/ 8 respondidas

1Resposta numérica15 ptsSem resposta

Com $p(\theta)\propto\theta^{18}(1-\theta)^{10}$ , vá de $\theta=0{,}6$ para $\theta'=0{,}7$ . Quanto vale a razão $r=p(\theta')/p(\theta)$ ? Dê quatro casas decimais.

r =

aceito: ± 0.003

2Resposta numérica15 ptsSem resposta

Agora vá de $\theta=0{,}6$ para $\theta'=0{,}55$ . Quanto vale a razão $r$ ? Dê quatro casas decimais.

r =

aceito: ± 0.003

3Resposta numérica10 ptsSem resposta

Trabalhando em logs, quanto vale $\ln p(\theta')-\ln p(\theta)$ para o passo de $0{,}6$ a $0{,}7$ , isto é $\ln 0{,}9029$ ? Dê três casas decimais.

l =

aceito: ± 0.004

4Resposta numérica10 ptsSem resposta

Após o burn-in, uma cadeia curta tem os valores $0{,}62,\ 0{,}65,\ 0{,}65,\ 0{,}58,\ 0{,}70$ (o segundo $0{,}65$ é um movimento rejeitado). Qual é a estimativa da média posterior? Dê duas casas decimais.

m =

aceito: ± 0.005

5Escolha10 ptsSem resposta

O que acontece quando o passo de proposta é grande demais?

6Ordenar os passos10 ptsSem resposta

Coloque em ordem os passos de uma iteração do Metropolis-Hastings.

Arraste para reordenar, ou foque um item, Espaço para levantá-lo, setas para movê-lo e Espaço para soltá-lo.

1Anotar o ponto, novo ou repetido
2Sortear um número uniforme u entre 0 e 1
3Propor um ponto próximo
4Mover se u for menor que a razão, senão ficar
5Calcular a razão das alturas posteriores

7Associar15 ptsSem resposta

Associe cada termo ao seu significado.

Escolha o par de cada item da esquerda.

Cadeia

Burn-in

Proposta

Taxa de aceitação

8Explicar com palavras15 ptsSem resposta

Em uma ou duas frases, explique por que o Metropolis-Hastings funciona mesmo quando a constante de normalização da posterior é desconhecida.

Avaliado por:O passo de aceitação usa só uma razão de duas alturasA constante desconhecida é a mesma nas duas e se cancela0 / 400 caracteres

Modo matemáticaEntrada por teclado ou LaTeXTarefa 1 de 8 · Ctrl ⏎ para verificar

Metropolis-Hastings do zero

Posição no roteiroMódulo 2 de 3 · Tópico 1 de 2

2.1 Metropolis-Hastings do zero

—Nota do lab— / 100XP total—Sequência—

Explorar uma posterior que não se consegue escrever

r=\frac{p(\theta')}{p(\theta)},\qquad \alpha=\min(1,\,r),\qquad \ln\alpha=\min\big(0,\ \ln p(\theta')-\ln p(\theta)\big)

(1)

Uma proposta, à mãoSeja a altura posterior

p(\theta)\propto\theta^{18}(1-\theta)^{10}

, a forma da

\mathrm{Beta}(19,11)

. De

\theta=0{,}6

proponha

\theta'=0{,}7

. A razão é

(0{,}7/0{,}6)^{18}(0{,}3/0{,}4)^{10}=0{,}903

: aceite com probabilidade

0{,}90

. Proponha em vez disso

\theta'=0{,}55

: a razão é

0{,}678

, aceite com probabilidade

0{,}68

. Nenhum dos dois cálculos precisou da constante que faz a densidade somar

1

Proposta e razão: proponha um ponto próximo e compare as alturas posteriores. A constante desconhecida se cancela.
Cadeia: os pontos visitados, repetidos quando um movimento é rejeitado. Descarte o burn-in e tire a média.
Tamanho do passo: pequeno demais se arrasta, grande demais trava. Mire em aceitar de um quarto a metade.

Lab: o que é avaliado

Uma boa proposta15 pts
Uma proposta pior15 pts
Uma log-razão10 pts
Tirar a média de uma cadeia10 pts
Um passo grande demais10 pts
Uma iteração10 pts
Associar o vocabulário15 pts
Por que a constante não é necessária15 pts

0/ 8 respondidas

1Resposta numérica15 ptsSem resposta

Com $p(\theta)\propto\theta^{18}(1-\theta)^{10}$ , vá de $\theta=0{,}6$ para $\theta'=0{,}7$ . Quanto vale a razão $r=p(\theta')/p(\theta)$ ? Dê quatro casas decimais.

r =

aceito: ± 0.003

2Resposta numérica15 ptsSem resposta

Agora vá de $\theta=0{,}6$ para $\theta'=0{,}55$ . Quanto vale a razão $r$ ? Dê quatro casas decimais.

r =

aceito: ± 0.003

3Resposta numérica10 ptsSem resposta

Trabalhando em logs, quanto vale $\ln p(\theta')-\ln p(\theta)$ para o passo de $0{,}6$ a $0{,}7$ , isto é $\ln 0{,}9029$ ? Dê três casas decimais.

l =

aceito: ± 0.004

4Resposta numérica10 ptsSem resposta

m =

aceito: ± 0.005

5Escolha10 ptsSem resposta

O que acontece quando o passo de proposta é grande demais?

6Ordenar os passos10 ptsSem resposta

Coloque em ordem os passos de uma iteração do Metropolis-Hastings.

Arraste para reordenar, ou foque um item, Espaço para levantá-lo, setas para movê-lo e Espaço para soltá-lo.

1Anotar o ponto, novo ou repetido
2Sortear um número uniforme u entre 0 e 1
3Propor um ponto próximo
4Mover se u for menor que a razão, senão ficar
5Calcular a razão das alturas posteriores

7Associar15 ptsSem resposta

Associe cada termo ao seu significado.

Escolha o par de cada item da esquerda.

Cadeia

Burn-in

Proposta

Taxa de aceitação

8Explicar com palavras15 ptsSem resposta

Em uma ou duas frases, explique por que o Metropolis-Hastings funciona mesmo quando a constante de normalização da posterior é desconhecida.

Avaliado por:O passo de aceitação usa só uma razão de duas alturasA constante desconhecida é a mesma nas duas e se cancela0 / 400 caracteres

Modo matemáticaEntrada por teclado ou LaTeXTarefa 1 de 8 · Ctrl ⏎ para verificar

Metropolis-Hastings do zero

Explorar uma posterior que não se consegue escrever

Lab: o que é avaliado

Entre para executar o seu código.

Metropolis-Hastings do zero

Explorar uma posterior que não se consegue escrever

Lab: o que é avaliado

Entre para executar o seu código.