吉布斯采样

一次更新一个部分

有些后验整体上很难，但一次处理一个部分就很容易，吉布斯采样利用的正是这一点。对于两个未知量，比如均值 $\mu$ 和精度 $\tau$ （方差的倒数），并不需要它们的联合分布。先在当前 $\tau$ 给定下从 $\mu$ 的分布中抽一个 $\mu$ ，再在新的 $\mu$ 给定下从 $\tau$ 的分布中抽一个 $\tau$ ，如此反复。每次抽样都是条件抽样，并且总是被接受：与 Metropolis-Hastings 不同，这里没有接受或拒绝的步骤。收集到的数对构成一条探索联合后验的链。

\mu\mid\tau,x\sim N\!\left(\frac{P_0m_0+n\tau\bar x}{P_0+n\tau},\ \frac{1}{P_0+n\tau}\right),\qquad \tau\mid\mu,x\sim\mathrm{Gamma}\!\left(a+\frac n2,\ b+\frac{\sum(x_i-\mu)^{2}}{2}\right)

(1)

当各个部分之间联系不太紧密时，吉布斯采样效果最好。若两个未知量高度相关，每次条件抽样只能沿狭窄的山脊走很小的一步，链就会曲折前进、速度很慢。一个双变量例子：若 $x$ 与 $y$ 是相关系数为 $\rho$ 的二元正态，则给定 $y$ 时 $x$ 服从均值 $\rho y$ 、标准差 $\sqrt{1-\rho^{2}}$ 的正态分布。当 $\rho=0.8$ 、 $y=2$ 时， $x$ 的抽样均值为 $1.6$ ，标准差为 $0.6$ ；当 $\rho=0.99$ 时标准差降到 $0.14$ ，步子变得极小。

两个条件步骤的数字设

n=25

个收益的均值为

\bar x=0.5

，当前方差

\sigma^{2}=4

，即

\tau=0.25

。先验取

N(0,10^{2})

，先验精度

P_0=0.01

，数据精度

n\tau=6.25

。于是

\mu

从均值

6.25\times0.5/6.26=0.499

、标准差

1/\sqrt{6.26}=0.400

的正态分布中抽取。接着取

a=b=1

、

\sum(x_i-\mu)^{2}=100

，精度从

\mathrm{Gamma}(13.5,\ 51)

中抽取，其均值为

13.5/51=0.265

，对应方差约

3.8

。

吉布斯采样：依次从每个未知量在其余量给定下的条件分布中抽样。
无拒绝：每次条件抽样都保留，但要求每个条件分布都容易抽样。
未知量之间的强相关会让链曲折前进、混合缓慢。

实验：评分内容

条件均值15 分
条件离散度10 分
抽取均值15 分
抽取精度15 分
没有拒绝步骤10 分
一次扫描10 分
配对术语10 分
强相关拖慢吉布斯15 分

一次更新一个部分

\mu\mid\tau,x\sim N\!\left(\frac{P_0m_0+n\tau\bar x}{P_0+n\tau},\ \frac{1}{P_0+n\tau}\right),\qquad \tau\mid\mu,x\sim\mathrm{Gamma}\!\left(a+\frac n2,\ b+\frac{\sum(x_i-\mu)^{2}}{2}\right)

(1)

两个条件步骤的数字设

n=25

个收益的均值为

\bar x=0.5

，当前方差

\sigma^{2}=4

，即

\tau=0.25

。先验取

N(0,10^{2})

，先验精度

P_0=0.01

，数据精度

n\tau=6.25

。于是

\mu

从均值

6.25\times0.5/6.26=0.499

、标准差

1/\sqrt{6.26}=0.400

的正态分布中抽取。接着取

a=b=1

、

\sum(x_i-\mu)^{2}=100

，精度从

\mathrm{Gamma}(13.5,\ 51)

中抽取，其均值为

13.5/51=0.265

，对应方差约

3.8

。

吉布斯采样：依次从每个未知量在其余量给定下的条件分布中抽样。
无拒绝：每次条件抽样都保留，但要求每个条件分布都容易抽样。
未知量之间的强相关会让链曲折前进、混合缓慢。

实验：评分内容

条件均值15 分
条件离散度10 分
抽取均值15 分
抽取精度15 分
没有拒绝步骤10 分
一次扫描10 分
配对术语10 分
强相关拖慢吉布斯15 分

一次更新一个部分

实验：评分内容

登录后即可运行你的代码。

吉布斯采样

一次更新一个部分

实验：评分内容

登录后即可运行你的代码。