1つずつ更新する
事後分布の中には、全体としては難しくても1つずつなら簡単なものがあります。ギブスサンプリングはそれを利用します。たとえば平均 μ と精度 τ（分散の逆数）の2つが未知なら、同時分布は不要です。現在の τ を与えたときの μ の分布から μ を引き、次に新しい μ を与えたときの τ の分布から τ を引きます。これを繰り返します。各サンプルは条件付き分布からのもので、常に受理されます。メトロポリス・ヘイスティングス法と違って、受理・棄却のステップはありません。集めた組が、同時事後分布を探索するチェーンになります。
μ∣τ,x∼N(P0+nτP0m0+nτxˉ, P0+nτ1),τ∣μ,x∼Gamma(a+2n, b+2∑(xi−μ)2)(1) ギブスサンプリングは、各部分が強く結び付いていないときに最もうまく働きます。2つの未知数の相関が強いと、条件付きサンプリングは狭い尾根に沿ってわずかな一歩しか進めず、チェーンはジグザグに動いて遅くなります。2変数の例として、x と y が相関 ρ の2変量正規なら、y を与えたときの x は平均 ρy、標準偏差 1−ρ2 の正規分布です。ρ=0.8、y=2 なら x の平均は 1.6、標準偏差は 0.6。ρ=0.99 では標準偏差が 0.14 に下がり、歩みはごく小さくなります。
2つの条件付きステップを数字でn=25 個のリターンの平均が
xˉ=0.5、現在の分散が
σ2=4（つまり
τ=0.25）とします。事前分布
N(0,102) の事前精度は
P0=0.01、データの精度は
nτ=6.25 です。したがって
μ は平均
6.25×0.5/6.26=0.499、標準偏差
1/6.26=0.400 の正規分布から引きます。次に
a=b=1、
∑(xi−μ)2=100 として、精度を
Gamma(13.5, 51) から引きます。その平均は
13.5/51=0.265、分散にして約
3.8 です。
- ギブスサンプリング：他を固定した条件付き分布から、未知数を順番に引く。
- 棄却なし：条件付きサンプルはすべて採用されるが、各条件付き分布が引きやすいことが前提。
- 未知数間の強い相関はチェーンをジグザグにし、混ざりを遅くする。
ラボ：採点される内容
- 条件付き平均15点
- 条件付きの広がり10点
- 平均を引く15点
- 精度を引く15点
- 棄却ステップなし10点
- 1回の掃引10点
- 用語を結び付ける10点
- 強い相関はギブスを遅くする15点
