Metropolis-Hastings de zéro

Position dans le parcoursModule 2 sur 3 · Sujet 1 sur 2

2.1 Metropolis-Hastings de zéro

—Score du lab— / 100XP total—Série—

Explorer un a posteriori qu'on ne peut pas écrire

On ne peut souvent écrire l'a posteriori qu'à une constante près, comme a priori fois vraisemblance, et on ne peut ni le sommer ni trouver sa moyenne par l'algèbre. Metropolis-Hastings construit une marche aléatoire qui visite les endroits en proportion de l'a posteriori. Au point courant $\theta$ , proposez un point voisin $\theta'$ , par exemple $\theta$ plus un peu de bruit normal. Comparez les hauteurs a posteriori avec le rapport $r=p(\theta')/p(\theta)$ . Si $r\ge1$ , le nouveau point est au moins aussi bon : avancez. Sinon, avancez avec la probabilité $r$ . Si vous n'avancez pas, notez à nouveau le point courant. La constante inconnue est la même dans les deux hauteurs, elle s'annule donc dans le rapport. C'est pourquoi la méthode fonctionne.

r=\frac{p(\theta')}{p(\theta)},\qquad \alpha=\min(1,\,r),\qquad \ln\alpha=\min\big(0,\ \ln p(\theta')-\ln p(\theta)\big)

(1)

La liste des points visités est la chaîne. Après un échauffement, appelé burn-in, elle se comporte comme un échantillon de l'a posteriori : la moyenne et l'intervalle viennent donc de simples moyennes et percentiles de la chaîne. Le pas est le réglage principal. Trop petit, presque chaque mouvement est accepté mais la chaîne rampe. Trop grand, la plupart des propositions tombent en de mauvais endroits et sont rejetées, la chaîne reste immobile. Une bonne chaîne accepte environ un quart à la moitié des propositions. Regardez toujours la chaîne : tracez-la et lancez-la de points de départ différents pour voir qu'ils s'accordent.

Une proposition, à la mainSoit la hauteur a posteriori

p(\theta)\propto\theta^{18}(1-\theta)^{10}

, la forme de

\mathrm{Beta}(19,11)

. Depuis

\theta=0{,}6

, proposez

\theta'=0{,}7

. Le rapport est

(0{,}7/0{,}6)^{18}(0{,}3/0{,}4)^{10}=0{,}903

: acceptez avec la probabilité

0{,}90

. Proposez plutôt

\theta'=0{,}55

: le rapport est

0{,}678

, acceptez avec la probabilité

0{,}68

. Aucun des deux calculs n'a eu besoin de la constante qui fait sommer la densité à

1

Proposition et rapport : proposez un point voisin et comparez les hauteurs a posteriori. La constante inconnue s'annule.
Chaîne : les points visités, répétés quand un mouvement est rejeté. Retirez le burn-in puis moyennez.
Pas : trop petit, la chaîne rampe ; trop grand, elle se bloque. Visez environ un quart à la moitié d'acceptation.

Lab : ce qui est noté

Une bonne proposition15 pts
Une moins bonne proposition15 pts
Un log-rapport10 pts
Moyenner une chaîne10 pts
Un pas trop grand10 pts
Une itération10 pts
Associer le vocabulaire15 pts
Pourquoi la constante est inutile15 pts

0/ 8 traités

1Réponse numérique15 ptsSans réponse

Avec $p(\theta)\propto\theta^{18}(1-\theta)^{10}$ , passez de $\theta=0{,}6$ à $\theta'=0{,}7$ . Que vaut le rapport $r=p(\theta')/p(\theta)$ ? Donnez quatre décimales.

r =

accepté : ± 0.003

2Réponse numérique15 ptsSans réponse

Passez maintenant de $\theta=0{,}6$ à $\theta'=0{,}55$ . Que vaut le rapport $r$ ? Donnez quatre décimales.

r =

accepté : ± 0.003

3Réponse numérique10 ptsSans réponse

En travaillant en logs, que vaut $\ln p(\theta')-\ln p(\theta)$ pour le passage de $0{,}6$ à $0{,}7$ , c'est-à-dire $\ln 0{,}9029$ ? Donnez trois décimales.

l =

accepté : ± 0.004

4Réponse numérique10 ptsSans réponse

Après le burn-in, une courte chaîne contient les valeurs $0{,}62,\ 0{,}65,\ 0{,}65,\ 0{,}58,\ 0{,}70$ (le second $0{,}65$ est un mouvement rejeté). Quelle est l'estimation de la moyenne a posteriori ? Donnez deux décimales.

m =

accepté : ± 0.005

5Choix10 ptsSans réponse

Que se passe-t-il quand le pas de proposition est beaucoup trop grand ?

6Remettre les étapes dans l'ordre10 ptsSans réponse

Mettez dans l'ordre les étapes d'une itération de Metropolis-Hastings.

Faites glisser pour réordonner, ou placez le focus sur un élément, Espace pour le soulever, les flèches pour le déplacer et Espace pour le déposer.

1Noter le point, nouveau ou répété
2Tirer un nombre uniforme u entre 0 et 1
3Proposer un point voisin
4Avancer si u est sous le rapport, sinon rester
5Calculer le rapport des hauteurs a posteriori

7Associer15 ptsSans réponse

Associez chaque terme à son sens.

Choisissez le partenaire de chaque élément de gauche.

Chaîne

Burn-in

Proposition

Taux d'acceptation

8Expliquer avec des mots15 ptsSans réponse

En une ou deux phrases, expliquez pourquoi Metropolis-Hastings fonctionne même quand la constante de normalisation de l'a posteriori est inconnue.

Noté sur :L'étape d'acceptation n'utilise qu'un rapport de deux hauteursLa constante inconnue est la même dans les deux et s'annule0 / 400 caractères

Mode mathsSaisie au clavier ou en LaTeXExercice 1 sur 8 · Ctrl ⏎ pour vérifier

Metropolis-Hastings de zéro

Position dans le parcoursModule 2 sur 3 · Sujet 1 sur 2

2.1 Metropolis-Hastings de zéro

—Score du lab— / 100XP total—Série—

Explorer un a posteriori qu'on ne peut pas écrire

r=\frac{p(\theta')}{p(\theta)},\qquad \alpha=\min(1,\,r),\qquad \ln\alpha=\min\big(0,\ \ln p(\theta')-\ln p(\theta)\big)

(1)

Une proposition, à la mainSoit la hauteur a posteriori

p(\theta)\propto\theta^{18}(1-\theta)^{10}

, la forme de

\mathrm{Beta}(19,11)

. Depuis

\theta=0{,}6

, proposez

\theta'=0{,}7

. Le rapport est

(0{,}7/0{,}6)^{18}(0{,}3/0{,}4)^{10}=0{,}903

: acceptez avec la probabilité

0{,}90

. Proposez plutôt

\theta'=0{,}55

: le rapport est

0{,}678

, acceptez avec la probabilité

0{,}68

. Aucun des deux calculs n'a eu besoin de la constante qui fait sommer la densité à

1

Proposition et rapport : proposez un point voisin et comparez les hauteurs a posteriori. La constante inconnue s'annule.
Chaîne : les points visités, répétés quand un mouvement est rejeté. Retirez le burn-in puis moyennez.
Pas : trop petit, la chaîne rampe ; trop grand, elle se bloque. Visez environ un quart à la moitié d'acceptation.

Lab : ce qui est noté

Une bonne proposition15 pts
Une moins bonne proposition15 pts
Un log-rapport10 pts
Moyenner une chaîne10 pts
Un pas trop grand10 pts
Une itération10 pts
Associer le vocabulaire15 pts
Pourquoi la constante est inutile15 pts

0/ 8 traités

1Réponse numérique15 ptsSans réponse

Avec $p(\theta)\propto\theta^{18}(1-\theta)^{10}$ , passez de $\theta=0{,}6$ à $\theta'=0{,}7$ . Que vaut le rapport $r=p(\theta')/p(\theta)$ ? Donnez quatre décimales.

r =

accepté : ± 0.003

2Réponse numérique15 ptsSans réponse

Passez maintenant de $\theta=0{,}6$ à $\theta'=0{,}55$ . Que vaut le rapport $r$ ? Donnez quatre décimales.

r =

accepté : ± 0.003

3Réponse numérique10 ptsSans réponse

En travaillant en logs, que vaut $\ln p(\theta')-\ln p(\theta)$ pour le passage de $0{,}6$ à $0{,}7$ , c'est-à-dire $\ln 0{,}9029$ ? Donnez trois décimales.

l =

accepté : ± 0.004

4Réponse numérique10 ptsSans réponse

m =

accepté : ± 0.005

5Choix10 ptsSans réponse

Que se passe-t-il quand le pas de proposition est beaucoup trop grand ?

6Remettre les étapes dans l'ordre10 ptsSans réponse

Mettez dans l'ordre les étapes d'une itération de Metropolis-Hastings.

Faites glisser pour réordonner, ou placez le focus sur un élément, Espace pour le soulever, les flèches pour le déplacer et Espace pour le déposer.

1Noter le point, nouveau ou répété
2Tirer un nombre uniforme u entre 0 et 1
3Proposer un point voisin
4Avancer si u est sous le rapport, sinon rester
5Calculer le rapport des hauteurs a posteriori

7Associer15 ptsSans réponse

Associez chaque terme à son sens.

Choisissez le partenaire de chaque élément de gauche.

Chaîne

Burn-in

Proposition

Taux d'acceptation

8Expliquer avec des mots15 ptsSans réponse

En une ou deux phrases, expliquez pourquoi Metropolis-Hastings fonctionne même quand la constante de normalisation de l'a posteriori est inconnue.

Noté sur :L'étape d'acceptation n'utilise qu'un rapport de deux hauteursLa constante inconnue est la même dans les deux et s'annule0 / 400 caractères

Mode mathsSaisie au clavier ou en LaTeXExercice 1 sur 8 · Ctrl ⏎ pour vérifier

Metropolis-Hastings de zéro

Explorer un a posteriori qu'on ne peut pas écrire

Lab : ce qui est noté

Connectez-vous pour exécuter votre code.

Metropolis-Hastings de zéro

Explorer un a posteriori qu'on ne peut pas écrire

Lab : ce qui est noté

Connectez-vous pour exécuter votre code.