ゼロから作るメトロポリス・ヘイスティングス

スキル上の位置モジュール 2/3 · トピック 1/2

2.1 ゼロから作るメトロポリス・ヘイスティングス

—ラボスコア— / 100合計XP—連続日数—

書き下せない事後分布を探索する

事後分布は、事前分布×尤度という形で定数倍を除いてしか書けないことが多く、足し上げたり代数で平均を求めたりできません。メトロポリス・ヘイスティングス法は、事後分布に比例した頻度で場所を訪れるランダムウォークを作ります。現在の点 $\theta$ で、近くの点 $\theta'$ （たとえば $\theta$ に少し正規ノイズを足したもの）を提案します。事後分布の高さを比 $r=p(\theta')/p(\theta)$ で比べ、 $r\ge1$ なら新しい点は少なくとも同じ程度に良いので移動します。そうでなければ確率 $r$ で移動します。移動しなかった場合は現在の点をもう一度記録します。未知の定数は両方の高さに同じく入っているので比で打ち消されます。だからこの方法はうまくいきます。

r=\frac{p(\theta')}{p(\theta)},\qquad \alpha=\min(1,\,r),\qquad \ln\alpha=\min\big(0,\ \ln p(\theta')-\ln p(\theta)\big)

(1)

訪れた点のリストがチェーンです。バーンインと呼ばれる助走期間のあとは、事後分布からの標本のように振る舞うので、平均や区間はチェーンの単純な平均やパーセンタイルから求まります。主な調整つまみはステップの大きさです。小さすぎるとほぼすべての移動が受理されますが、チェーンは這うようにしか進みません。大きすぎると提案の大半が悪い場所に落ちて棄却され、チェーンは動きません。良いチェーンは提案のおよそ4分の1から半分を受理します。必ずチェーンを見てください。プロットし、違う場所から始めても一致するか確かめます。

手計算で1回の提案事後分布の高さを

p(\theta)\propto\theta^{18}(1-\theta)^{10}

（

\mathrm{Beta}(19,11)

の形）とします。

\theta=0.6

から

\theta'=0.7

を提案すると、比は

(0.7/0.6)^{18}(0.3/0.4)^{10}=0.903

なので確率

0.90

で受理します。代わりに

\theta'=0.55

を提案すると比は

0.678

で、確率

0.68

で受理します。どちらの計算も、密度の和を

1

にする定数を必要としませんでした。

提案と比：近くの点を提案し、事後分布の高さを比べる。未知の定数は打ち消される。
チェーン：訪れた点。棄却されたら同じ点を繰り返す。バーンインを捨てて平均する。
ステップ幅：小さすぎると這い、大きすぎると止まる。受理率は4分の1〜半分を目安に。

ラボ：採点される内容

良い提案15点
より悪い提案15点
対数比10点
チェーンを平均する10点
大きすぎるステップ10点
1回の反復10点
用語を結び付ける15点
なぜ定数が要らないのか15点

0/ 8問回答済み

1数値で答える15点未回答

$p(\theta)\propto\theta^{18}(1-\theta)^{10}$ で $\theta=0.6$ から $\theta'=0.7$ へ移ります。比 $r=p(\theta')/p(\theta)$ はいくつですか。小数第4位まで答えてください。

r =

許容:± 0.003

2数値で答える15点未回答

次に $\theta=0.6$ から $\theta'=0.55$ へ移ります。比 $r$ はいくつですか。小数第4位まで答えてください。

r =

許容:± 0.003

3数値で答える10点未回答

対数で計算すると、 $0.6$ から $0.7$ への移動の $\ln p(\theta')-\ln p(\theta)$ 、つまり $\ln 0.9029$ はいくつですか。小数第3位まで答えてください。

l =

許容:± 0.004

4数値で答える10点未回答

バーンイン後の短いチェーンが $0.62,\ 0.65,\ 0.65,\ 0.58,\ 0.70$ の値を持ちます（2つ目の $0.65$ は棄却された移動）。事後平均の推定値はいくつですか。小数第2位まで答えてください。

m =

許容:± 0.005

5選択10点未回答

提案のステップがあまりに大きいとどうなりますか。

6手順を並べ替える10点未回答

メトロポリス・ヘイスティングス法の1回の反復の手順を正しい順に並べてください。

ドラッグして並べ替えます。または項目にフォーカスし、スペースで持ち上げ、矢印キーで移動、スペースで置きます。

1新しい点または繰り返しの点を記録する
20から1の一様乱数 u を引く
3近くの点を提案する
4u が比より小さければ移動し、そうでなければ留まる
5事後分布の高さの比を計算する

7対応づけ15点未回答

各用語をその意味に結び付けてください。

左の各項目に対応するものを選んでください。

チェーン

バーンイン

提案

受理率

8言葉で説明する15点未回答

1〜2文で、事後分布の規格化定数が未知でもメトロポリス・ヘイスティングス法が機能する理由を説明してください。

採点基準:採択のステップは2つの高さの比だけを使う未知の定数は両方で同じなので打ち消される0 / 400文字

数学モードキーボードまたは LaTeX で入力問題1/8 · Ctrl ⏎ で確認

ゼロから作るメトロポリス・ヘイスティングス

スキル上の位置モジュール 2/3 · トピック 1/2

2.1 ゼロから作るメトロポリス・ヘイスティングス

—ラボスコア— / 100合計XP—連続日数—

書き下せない事後分布を探索する

r=\frac{p(\theta')}{p(\theta)},\qquad \alpha=\min(1,\,r),\qquad \ln\alpha=\min\big(0,\ \ln p(\theta')-\ln p(\theta)\big)

(1)

手計算で1回の提案事後分布の高さを

p(\theta)\propto\theta^{18}(1-\theta)^{10}

（

\mathrm{Beta}(19,11)

の形）とします。

\theta=0.6

から

\theta'=0.7

を提案すると、比は

(0.7/0.6)^{18}(0.3/0.4)^{10}=0.903

なので確率

0.90

で受理します。代わりに

\theta'=0.55

を提案すると比は

0.678

で、確率

0.68

で受理します。どちらの計算も、密度の和を

1

にする定数を必要としませんでした。

提案と比：近くの点を提案し、事後分布の高さを比べる。未知の定数は打ち消される。
チェーン：訪れた点。棄却されたら同じ点を繰り返す。バーンインを捨てて平均する。
ステップ幅：小さすぎると這い、大きすぎると止まる。受理率は4分の1〜半分を目安に。

ラボ：採点される内容

良い提案15点
より悪い提案15点
対数比10点
チェーンを平均する10点
大きすぎるステップ10点
1回の反復10点
用語を結び付ける15点
なぜ定数が要らないのか15点

0/ 8問回答済み

1数値で答える15点未回答

$p(\theta)\propto\theta^{18}(1-\theta)^{10}$ で $\theta=0.6$ から $\theta'=0.7$ へ移ります。比 $r=p(\theta')/p(\theta)$ はいくつですか。小数第4位まで答えてください。

r =

許容:± 0.003

2数値で答える15点未回答

次に $\theta=0.6$ から $\theta'=0.55$ へ移ります。比 $r$ はいくつですか。小数第4位まで答えてください。

r =

許容:± 0.003

3数値で答える10点未回答

対数で計算すると、 $0.6$ から $0.7$ への移動の $\ln p(\theta')-\ln p(\theta)$ 、つまり $\ln 0.9029$ はいくつですか。小数第3位まで答えてください。

l =

許容:± 0.004

4数値で答える10点未回答

m =

許容:± 0.005

5選択10点未回答

提案のステップがあまりに大きいとどうなりますか。

6手順を並べ替える10点未回答

メトロポリス・ヘイスティングス法の1回の反復の手順を正しい順に並べてください。

ドラッグして並べ替えます。または項目にフォーカスし、スペースで持ち上げ、矢印キーで移動、スペースで置きます。

1新しい点または繰り返しの点を記録する
20から1の一様乱数 u を引く
3近くの点を提案する
4u が比より小さければ移動し、そうでなければ留まる
5事後分布の高さの比を計算する

7対応づけ15点未回答

各用語をその意味に結び付けてください。

左の各項目に対応するものを選んでください。

チェーン

バーンイン

提案

受理率

8言葉で説明する15点未回答

1〜2文で、事後分布の規格化定数が未知でもメトロポリス・ヘイスティングス法が機能する理由を説明してください。

採点基準:採択のステップは2つの高さの比だけを使う未知の定数は両方で同じなので打ち消される0 / 400文字

数学モードキーボードまたは LaTeX で入力問題1/8 · Ctrl ⏎ で確認

ゼロから作るメトロポリス・ヘイスティングス

書き下せない事後分布を探索する

ラボ：採点される内容

コードを実行するにはログインしてください。

ゼロから作るメトロポリス・ヘイスティングス

書き下せない事後分布を探索する

ラボ：採点される内容

コードを実行するにはログインしてください。