Échantillonnage de Gibbs

Position dans le parcoursModule 2 sur 3 · Sujet 2 sur 2

2.2 Échantillonnage de Gibbs

—Score du lab— / 100XP total—Série—

Mettre à jour un morceau à la fois

Certains a posteriori sont difficiles dans leur ensemble mais faciles un morceau à la fois. L'échantillonnage de Gibbs en profite. Avec deux inconnues, disons une moyenne $\mu$ et une précision $\tau$ (l'inverse de la variance), on n'a pas besoin de leur loi conjointe. Tirez $\mu$ selon sa loi sachant le $\tau$ courant. Puis tirez $\tau$ selon sa loi sachant le nouveau $\mu$ . Recommencez. Chaque tirage est conditionnel et il est toujours accepté : contrairement à Metropolis-Hastings, il n'y a pas d'étape d'acceptation ou de rejet. Les paires recueillies forment une chaîne qui explore l'a posteriori conjoint.

\mu\mid\tau,x\sim N\!\left(\frac{P_0m_0+n\tau\bar x}{P_0+n\tau},\ \frac{1}{P_0+n\tau}\right),\qquad \tau\mid\mu,x\sim\mathrm{Gamma}\!\left(a+\frac n2,\ b+\frac{\sum(x_i-\mu)^{2}}{2}\right)

(1)

Gibbs fonctionne mieux quand les morceaux ne sont pas étroitement liés. Si deux inconnues sont fortement corrélées, chaque tirage conditionnel ne peut faire qu'un minuscule pas le long de la crête étroite, donc la chaîne zigzague et avance lentement. Un exemple à deux variables : si $x$ et $y$ sont normales bivariées de corrélation $\rho$ , alors $x$ sachant $y$ est normale de moyenne $\rho y$ et d'écart type $\sqrt{1-\rho^{2}}$ . Avec $\rho=0{,}8$ et $y=2$ , le tirage de $x$ a pour moyenne $1{,}6$ et pour écart type $0{,}6$ . Avec $\rho=0{,}99$ , l'écart type tombe à $0{,}14$ et les pas deviennent minuscules.

Les deux étapes conditionnelles en chiffresSoit

n=25

rendements de moyenne

\bar x=0{,}5

, et la variance courante

\sigma^{2}=4

, donc

\tau=0{,}25

. Avec l'a priori

N(0,10^{2})

, la précision a priori est

P_0=0{,}01

. La précision des données est

n\tau=6{,}25

. On tire donc

\mu

d'une normale de moyenne

6{,}25\times0{,}5/6{,}26=0{,}499

et d'écart type

1/\sqrt{6{,}26}=0{,}400

. Ensuite, avec

a=b=1

\sum(x_i-\mu)^{2}=100

, la précision est tirée d'une

\mathrm{Gamma}(13{,}5,\ 51)

de moyenne

13{,}5/51=0{,}265

, soit une variance d'environ

3{,}8

Échantillonnage de Gibbs : tirer chaque inconnue à tour de rôle selon sa loi conditionnelle sachant les autres.
Aucun rejet : chaque tirage conditionnel est conservé, mais chaque loi conditionnelle doit être facile à tirer.
Une forte corrélation entre inconnues fait zigzaguer la chaîne et ralentit le mélange.

Lab : ce qui est noté

Une moyenne conditionnelle15 pts
Une dispersion conditionnelle10 pts
Tirer la moyenne15 pts
Tirer la précision15 pts
Pas d'étape de rejet10 pts
Un balayage10 pts
Associer le vocabulaire10 pts
Une forte corrélation ralentit Gibbs15 pts

0/ 8 traités

1Réponse numérique15 ptsSans réponse

$x$ et $y$ sont normales bivariées de corrélation $\rho=0{,}8$ . Sachant $y=2$ , quelle est la moyenne $\rho y$ de la loi conditionnelle de $x$ ?

m =

accepté : ± 0.01

2Réponse numérique10 ptsSans réponse

Quel est l'écart type $\sqrt{1-\rho^{2}}$ de cette loi conditionnelle ? Donnez deux décimales.

s =

accepté : ± 0.005

3Réponse numérique15 ptsSans réponse

Avec $n=25$ , $\bar x=0{,}5$ , $\tau=0{,}25$ et l'a priori $N(0,10^{2})$ , la loi conditionnelle de $\mu$ a une précision $0{,}01+25\times0{,}25=6{,}26$ . Quelle est sa moyenne $6{,}25\times0{,}5\,/\,6{,}26$ ? Donnez trois décimales.

m =

accepté : ± 0.002

4Réponse numérique15 ptsSans réponse

Avec $a=b=1$ , $n=25$ et $\sum(x_i-\mu)^{2}=100$ , la loi conditionnelle de $\tau$ est $\mathrm{Gamma}(a+n/2,\ b+100/2)$ . Quelle est sa moyenne, la forme divisée par le taux ? Donnez trois décimales.

t =

accepté : ± 0.002

5Choix10 ptsSans réponse

Pourquoi l'échantillonnage de Gibbs n'a-t-il pas besoin d'étape d'acceptation ou de rejet ?

6Remettre les étapes dans l'ordre10 ptsSans réponse

Mettez dans l'ordre les étapes d'un échantillonneur de Gibbs.

Faites glisser pour réordonner, ou placez le focus sur un élément, Espace pour le soulever, les flèches pour le déplacer et Espace pour le déposer.

1Noter la paire
2Tirer la moyenne sachant la précision
3Choisir des valeurs de départ
4Tirer la précision sachant la nouvelle moyenne
5Répéter de nombreuses fois et retirer le burn-in

7Associer10 ptsSans réponse

Associez chaque terme à son sens.

Choisissez le partenaire de chaque élément de gauche.

Échantillonnage de Gibbs

Loi conditionnelle

Balayage

Mélange lent

8Expliquer avec des mots15 ptsSans réponse

En une ou deux phrases, expliquez pourquoi un échantillonneur de Gibbs est lent quand deux inconnues sont fortement corrélées.

Noté sur :Les deux inconnues sont liées par une forte corrélationChaque tirage conditionnel ne fait qu'un minuscule pas, donc la chaîne zigzague0 / 400 caractères

Mode mathsSaisie au clavier ou en LaTeXExercice 1 sur 8 · Ctrl ⏎ pour vérifier

Échantillonnage de Gibbs

Position dans le parcoursModule 2 sur 3 · Sujet 2 sur 2

2.2 Échantillonnage de Gibbs

—Score du lab— / 100XP total—Série—

Mettre à jour un morceau à la fois

\mu\mid\tau,x\sim N\!\left(\frac{P_0m_0+n\tau\bar x}{P_0+n\tau},\ \frac{1}{P_0+n\tau}\right),\qquad \tau\mid\mu,x\sim\mathrm{Gamma}\!\left(a+\frac n2,\ b+\frac{\sum(x_i-\mu)^{2}}{2}\right)

(1)

Les deux étapes conditionnelles en chiffresSoit

n=25

rendements de moyenne

\bar x=0{,}5

, et la variance courante

\sigma^{2}=4

, donc

\tau=0{,}25

. Avec l'a priori

N(0,10^{2})

, la précision a priori est

P_0=0{,}01

. La précision des données est

n\tau=6{,}25

. On tire donc

\mu

d'une normale de moyenne

6{,}25\times0{,}5/6{,}26=0{,}499

et d'écart type

1/\sqrt{6{,}26}=0{,}400

. Ensuite, avec

a=b=1

\sum(x_i-\mu)^{2}=100

, la précision est tirée d'une

\mathrm{Gamma}(13{,}5,\ 51)

de moyenne

13{,}5/51=0{,}265

, soit une variance d'environ

3{,}8

Échantillonnage de Gibbs : tirer chaque inconnue à tour de rôle selon sa loi conditionnelle sachant les autres.
Aucun rejet : chaque tirage conditionnel est conservé, mais chaque loi conditionnelle doit être facile à tirer.
Une forte corrélation entre inconnues fait zigzaguer la chaîne et ralentit le mélange.

Lab : ce qui est noté

Une moyenne conditionnelle15 pts
Une dispersion conditionnelle10 pts
Tirer la moyenne15 pts
Tirer la précision15 pts
Pas d'étape de rejet10 pts
Un balayage10 pts
Associer le vocabulaire10 pts
Une forte corrélation ralentit Gibbs15 pts

0/ 8 traités

1Réponse numérique15 ptsSans réponse

$x$ et $y$ sont normales bivariées de corrélation $\rho=0{,}8$ . Sachant $y=2$ , quelle est la moyenne $\rho y$ de la loi conditionnelle de $x$ ?

m =

accepté : ± 0.01

2Réponse numérique10 ptsSans réponse

Quel est l'écart type $\sqrt{1-\rho^{2}}$ de cette loi conditionnelle ? Donnez deux décimales.

s =

accepté : ± 0.005

3Réponse numérique15 ptsSans réponse

m =

accepté : ± 0.002

4Réponse numérique15 ptsSans réponse

t =

accepté : ± 0.002

5Choix10 ptsSans réponse

Pourquoi l'échantillonnage de Gibbs n'a-t-il pas besoin d'étape d'acceptation ou de rejet ?

6Remettre les étapes dans l'ordre10 ptsSans réponse

Mettez dans l'ordre les étapes d'un échantillonneur de Gibbs.

Faites glisser pour réordonner, ou placez le focus sur un élément, Espace pour le soulever, les flèches pour le déplacer et Espace pour le déposer.

1Noter la paire
2Tirer la moyenne sachant la précision
3Choisir des valeurs de départ
4Tirer la précision sachant la nouvelle moyenne
5Répéter de nombreuses fois et retirer le burn-in

7Associer10 ptsSans réponse

Associez chaque terme à son sens.

Choisissez le partenaire de chaque élément de gauche.

Échantillonnage de Gibbs

Loi conditionnelle

Balayage

Mélange lent

8Expliquer avec des mots15 ptsSans réponse

En une ou deux phrases, expliquez pourquoi un échantillonneur de Gibbs est lent quand deux inconnues sont fortement corrélées.

Noté sur :Les deux inconnues sont liées par une forte corrélationChaque tirage conditionnel ne fait qu'un minuscule pas, donc la chaîne zigzague0 / 400 caractères

Mode mathsSaisie au clavier ou en LaTeXExercice 1 sur 8 · Ctrl ⏎ pour vérifier

Échantillonnage de Gibbs

Mettre à jour un morceau à la fois

Lab : ce qui est noté

Connectez-vous pour exécuter votre code.

Échantillonnage de Gibbs

Mettre à jour un morceau à la fois

Lab : ce qui est noté

Connectez-vous pour exécuter votre code.