Metropolis-Hastings desde cero

Posición en la rutaMódulo 2 de 3 · Tema 1 de 2

2.1 Metropolis-Hastings desde cero

—Puntuación del lab— / 100XP total—Racha—

Explorar una posterior que no se puede escribir

A menudo solo se puede escribir la posterior salvo una constante, como previa por verosimilitud, y no se puede sumar ni hallar su media con álgebra. Metropolis-Hastings construye un paseo aleatorio que visita lugares en proporción a la posterior. En el punto actual $\theta$ , proponga un punto cercano $\theta'$ , por ejemplo $\theta$ más un poco de ruido normal. Compare las alturas posteriores con el cociente $r=p(\theta')/p(\theta)$ . Si $r\ge1$ el nuevo punto es al menos igual de bueno: avance. Si no, avance con probabilidad $r$ . Si no avanza, anote de nuevo el punto actual. La constante desconocida es la misma en ambas alturas, así que se cancela en el cociente. Por eso funciona el método.

r=\frac{p(\theta')}{p(\theta)},\qquad \alpha=\min(1,\,r),\qquad \ln\alpha=\min\big(0,\ \ln p(\theta')-\ln p(\theta)\big)

(1)

La lista de puntos visitados es la cadena. Tras un calentamiento, llamado burn-in, se comporta como una muestra de la posterior, así que la media y el intervalo salen de promedios y percentiles simples de la cadena. El tamaño del paso es el ajuste principal. Si es muy pequeño, casi todo movimiento se acepta pero la cadena avanza a rastras. Si es muy grande, la mayoría de las propuestas caen en malos sitios y se rechazan, y la cadena se queda quieta. Una buena cadena acepta aproximadamente de un cuarto a la mitad de las propuestas. Mire siempre la cadena: grafíquela y arránquela desde puntos distintos para ver que coinciden.

Una propuesta, a manoSea la altura posterior

p(\theta)\propto\theta^{18}(1-\theta)^{10}

, la forma de

\mathrm{Beta}(19,11)

. Desde

\theta=0{,}6

proponga

\theta'=0{,}7

. El cociente es

(0{,}7/0{,}6)^{18}(0{,}3/0{,}4)^{10}=0{,}903

: acepte con probabilidad

0{,}90

. Proponga en cambio

\theta'=0{,}55

: el cociente es

0{,}678

, acepte con probabilidad

0{,}68

. Ninguno de los dos cálculos necesitó la constante que hace sumar la densidad

1

Propuesta y cociente: proponga un punto cercano y compare alturas posteriores. La constante desconocida se cancela.
Cadena: los puntos visitados, repetidos cuando se rechaza un movimiento. Quite el burn-in y promedie.
Tamaño del paso: muy pequeño se arrastra, muy grande se atasca. Apunte a aceptar de un cuarto a la mitad.

Lab: qué se califica

Una buena propuesta15 pts
Una propuesta peor15 pts
Un log-cociente10 pts
Promediar una cadena10 pts
Un paso demasiado grande10 pts
Una iteración10 pts
Emparejar el vocabulario15 pts
Por qué no hace falta la constante15 pts

0/ 8 respondidos

1Respuesta numérica15 ptsSin responder

Con $p(\theta)\propto\theta^{18}(1-\theta)^{10}$ , pase de $\theta=0{,}6$ a $\theta'=0{,}7$ . ¿Cuánto vale el cociente $r=p(\theta')/p(\theta)$ ? Dé cuatro decimales.

r =

aceptado: ± 0.003

2Respuesta numérica15 ptsSin responder

Ahora pase de $\theta=0{,}6$ a $\theta'=0{,}55$ . ¿Cuánto vale el cociente $r$ ? Dé cuatro decimales.

r =

aceptado: ± 0.003

3Respuesta numérica10 ptsSin responder

Trabajando en logs, ¿cuánto vale $\ln p(\theta')-\ln p(\theta)$ para el paso de $0{,}6$ a $0{,}7$ , es decir $\ln 0{,}9029$ ? Dé tres decimales.

l =

aceptado: ± 0.004

4Respuesta numérica10 ptsSin responder

Tras el burn-in, una cadena corta tiene los valores $0{,}62,\ 0{,}65,\ 0{,}65,\ 0{,}58,\ 0{,}70$ (el segundo $0{,}65$ es un movimiento rechazado). ¿Cuál es la estimación de la media posterior? Dé dos decimales.

m =

aceptado: ± 0.005

5Elección10 ptsSin responder

¿Qué pasa cuando el paso de propuesta es demasiado grande?

6Ordenar los pasos10 ptsSin responder

Ponga en orden los pasos de una iteración de Metropolis-Hastings.

Arrastra para reordenar, o enfoca un elemento, pulsa Espacio para levantarlo, las flechas para moverlo y Espacio para soltarlo.

1Anotar el punto, nuevo o repetido
2Sortear un número uniforme u entre 0 y 1
3Proponer un punto cercano
4Avanzar si u es menor que el cociente, si no quedarse
5Calcular el cociente de alturas posteriores

7Emparejar15 ptsSin responder

Empareje cada término con su significado.

Elige la pareja de cada elemento de la izquierda.

Cadena

Burn-in

Propuesta

Tasa de aceptación

8Explicar con palabras15 ptsSin responder

En una o dos frases, explique por qué Metropolis-Hastings funciona incluso cuando se desconoce la constante de normalización de la posterior.

Se califica por:El paso de aceptación solo usa un cociente de dos alturasLa constante desconocida es la misma en ambas y se cancela0 / 400 caracteres

Modo matemáticasEntrada por teclado o LaTeXEjercicio 1 de 8 · Ctrl ⏎ para comprobar

Metropolis-Hastings desde cero

Posición en la rutaMódulo 2 de 3 · Tema 1 de 2

2.1 Metropolis-Hastings desde cero

—Puntuación del lab— / 100XP total—Racha—

Explorar una posterior que no se puede escribir

r=\frac{p(\theta')}{p(\theta)},\qquad \alpha=\min(1,\,r),\qquad \ln\alpha=\min\big(0,\ \ln p(\theta')-\ln p(\theta)\big)

(1)

Una propuesta, a manoSea la altura posterior

p(\theta)\propto\theta^{18}(1-\theta)^{10}

, la forma de

\mathrm{Beta}(19,11)

. Desde

\theta=0{,}6

proponga

\theta'=0{,}7

. El cociente es

(0{,}7/0{,}6)^{18}(0{,}3/0{,}4)^{10}=0{,}903

: acepte con probabilidad

0{,}90

. Proponga en cambio

\theta'=0{,}55

: el cociente es

0{,}678

, acepte con probabilidad

0{,}68

. Ninguno de los dos cálculos necesitó la constante que hace sumar la densidad

1

Propuesta y cociente: proponga un punto cercano y compare alturas posteriores. La constante desconocida se cancela.
Cadena: los puntos visitados, repetidos cuando se rechaza un movimiento. Quite el burn-in y promedie.
Tamaño del paso: muy pequeño se arrastra, muy grande se atasca. Apunte a aceptar de un cuarto a la mitad.

Lab: qué se califica

Una buena propuesta15 pts
Una propuesta peor15 pts
Un log-cociente10 pts
Promediar una cadena10 pts
Un paso demasiado grande10 pts
Una iteración10 pts
Emparejar el vocabulario15 pts
Por qué no hace falta la constante15 pts

0/ 8 respondidos

1Respuesta numérica15 ptsSin responder

Con $p(\theta)\propto\theta^{18}(1-\theta)^{10}$ , pase de $\theta=0{,}6$ a $\theta'=0{,}7$ . ¿Cuánto vale el cociente $r=p(\theta')/p(\theta)$ ? Dé cuatro decimales.

r =

aceptado: ± 0.003

2Respuesta numérica15 ptsSin responder

Ahora pase de $\theta=0{,}6$ a $\theta'=0{,}55$ . ¿Cuánto vale el cociente $r$ ? Dé cuatro decimales.

r =

aceptado: ± 0.003

3Respuesta numérica10 ptsSin responder

Trabajando en logs, ¿cuánto vale $\ln p(\theta')-\ln p(\theta)$ para el paso de $0{,}6$ a $0{,}7$ , es decir $\ln 0{,}9029$ ? Dé tres decimales.

l =

aceptado: ± 0.004

4Respuesta numérica10 ptsSin responder

m =

aceptado: ± 0.005

5Elección10 ptsSin responder

¿Qué pasa cuando el paso de propuesta es demasiado grande?

6Ordenar los pasos10 ptsSin responder

Ponga en orden los pasos de una iteración de Metropolis-Hastings.

Arrastra para reordenar, o enfoca un elemento, pulsa Espacio para levantarlo, las flechas para moverlo y Espacio para soltarlo.

1Anotar el punto, nuevo o repetido
2Sortear un número uniforme u entre 0 y 1
3Proponer un punto cercano
4Avanzar si u es menor que el cociente, si no quedarse
5Calcular el cociente de alturas posteriores

7Emparejar15 ptsSin responder

Empareje cada término con su significado.

Elige la pareja de cada elemento de la izquierda.

Cadena

Burn-in

Propuesta

Tasa de aceptación

8Explicar con palabras15 ptsSin responder

En una o dos frases, explique por qué Metropolis-Hastings funciona incluso cuando se desconoce la constante de normalización de la posterior.

Se califica por:El paso de aceptación solo usa un cociente de dos alturasLa constante desconocida es la misma en ambas y se cancela0 / 400 caracteres

Modo matemáticasEntrada por teclado o LaTeXEjercicio 1 de 8 · Ctrl ⏎ para comprobar

Metropolis-Hastings desde cero

Explorar una posterior que no se puede escribir

Lab: qué se califica

Inicia sesión para ejecutar tu código.

Metropolis-Hastings desde cero

Explorar una posterior que no se puede escribir

Lab: qué se califica

Inicia sesión para ejecutar tu código.