从零实现 Metropolis-Hastings

路线进度模块 2/3 · 主题 1/2

2.1 从零实现 Metropolis-Hastings

—实验得分— / 100总 XP—连续天数—

探索无法写出的后验

后验往往只能写到相差一个常数，即先验乘似然，既无法求和，也没法用代数求均值。Metropolis-Hastings 构造一个随机游走，访问各处的频率与后验成正比。在当前点 $\theta$ ，提出一个附近的点 $\theta'$ ，比如 $\theta$ 加一点正态噪声。用比值 $r=p(\theta')/p(\theta)$ 比较后验高度：若 $r\ge1$ ，新点至少一样好，就移动；否则以概率 $r$ 移动。若不移动，就把当前点再记一次。未知的常数在两个高度中相同，所以在比值中抵消，这就是方法成立的原因。

r=\frac{p(\theta')}{p(\theta)},\qquad \alpha=\min(1,\,r),\qquad \ln\alpha=\min\big(0,\ \ln p(\theta')-\ln p(\theta)\big)

(1)

访问过的点的列表就是链。经过称为 burn-in 的预热之后，它的表现就像来自后验的样本，所以均值和区间可以直接由链的平均值和分位数得到。步长是最主要的旋钮：太小，几乎每次移动都被接受，但链爬得很慢；太大，大多数提议落在差的位置而被拒绝，链就原地不动。好的链大约接受四分之一到一半的提议。一定要看链本身：画出来，并从不同起点开始，看它们是否一致。

手算一次提议设后验高度为

p(\theta)\propto\theta^{18}(1-\theta)^{10}

，即

\mathrm{Beta}(19,11)

的形状。从

\theta=0.6

提出

\theta'=0.7

：比值为

(0.7/0.6)^{18}(0.3/0.4)^{10}=0.903

，以概率

0.90

接受。若改提

\theta'=0.55

：比值为

0.678

，以概率

0.68

接受。两个计算都不需要使密度总和为

1

的那个常数。

提议与比值：提出附近的点并比较后验高度，未知常数被抵消。
链：访问过的点，移动被拒时重复记录。丢掉 burn-in 后再求平均。
步长：太小爬得慢，太大会卡住，目标接受率约四分之一到一半。

实验：评分内容

一个好的提议15 分
更差的提议15 分
对数比值10 分
对链求平均10 分
步长太大10 分
一次迭代10 分
配对术语15 分
为什么不需要常数15 分

0/ 已答 8 题

1数值作答15 分未作答

取 $p(\theta)\propto\theta^{18}(1-\theta)^{10}$ ，从 $\theta=0.6$ 到 $\theta'=0.7$ 。比值 $r=p(\theta')/p(\theta)$ 是多少？保留四位小数。

r =

允许误差:± 0.003

2数值作答15 分未作答

再从 $\theta=0.6$ 到 $\theta'=0.55$ 。比值 $r$ 是多少？保留四位小数。

r =

允许误差:± 0.003

3数值作答10 分未作答

用对数计算，从 $0.6$ 到 $0.7$ 的 $\ln p(\theta')-\ln p(\theta)$ ，即 $\ln 0.9029$ 是多少？保留三位小数。

l =

允许误差:± 0.004

4数值作答10 分未作答

burn-in 之后，一条短链的值为 $0.62,\ 0.65,\ 0.65,\ 0.58,\ 0.70$ （第二个 $0.65$ 是被拒绝的移动）。后验均值的估计是多少？保留两位小数。

m =

允许误差:± 0.005

5选择10 分未作答

提议步长远远过大会怎样？

6排列步骤10 分未作答

把一次 Metropolis-Hastings 迭代的步骤按正确顺序排列。

拖动以重新排序;也可聚焦某项,按空格抬起,用方向键移动,再按空格放下。

1记录该点，无论新旧
2抽取 0 到 1 之间的均匀随机数 u
3提出附近的点
4若 u 小于比值就移动，否则留在原处
5计算后验高度之比

7配对15 分未作答

把每个术语与其含义配对。

为左侧每一项选择配对项。

链

burn-in

提议

接受率

8用文字解释15 分未作答

用一两句话解释：即使后验的归一化常数未知，Metropolis-Hastings 为什么仍然有效。

评分依据:接受步骤只用两个高度之比未知常数在两者中相同而被抵消0 / 400 字

数学模式键盘或 LaTeX 输入第 1/8 题 · Ctrl ⏎ 检查

从零实现 Metropolis-Hastings

路线进度模块 2/3 · 主题 1/2

2.1 从零实现 Metropolis-Hastings

—实验得分— / 100总 XP—连续天数—

探索无法写出的后验

r=\frac{p(\theta')}{p(\theta)},\qquad \alpha=\min(1,\,r),\qquad \ln\alpha=\min\big(0,\ \ln p(\theta')-\ln p(\theta)\big)

(1)

手算一次提议设后验高度为

p(\theta)\propto\theta^{18}(1-\theta)^{10}

，即

\mathrm{Beta}(19,11)

的形状。从

\theta=0.6

提出

\theta'=0.7

：比值为

(0.7/0.6)^{18}(0.3/0.4)^{10}=0.903

，以概率

0.90

接受。若改提

\theta'=0.55

：比值为

0.678

，以概率

0.68

接受。两个计算都不需要使密度总和为

1

的那个常数。

提议与比值：提出附近的点并比较后验高度，未知常数被抵消。
链：访问过的点，移动被拒时重复记录。丢掉 burn-in 后再求平均。
步长：太小爬得慢，太大会卡住，目标接受率约四分之一到一半。

实验：评分内容

一个好的提议15 分
更差的提议15 分
对数比值10 分
对链求平均10 分
步长太大10 分
一次迭代10 分
配对术语15 分
为什么不需要常数15 分

0/ 已答 8 题

1数值作答15 分未作答

取 $p(\theta)\propto\theta^{18}(1-\theta)^{10}$ ，从 $\theta=0.6$ 到 $\theta'=0.7$ 。比值 $r=p(\theta')/p(\theta)$ 是多少？保留四位小数。

r =

允许误差:± 0.003

2数值作答15 分未作答

再从 $\theta=0.6$ 到 $\theta'=0.55$ 。比值 $r$ 是多少？保留四位小数。

r =

允许误差:± 0.003

3数值作答10 分未作答

用对数计算，从 $0.6$ 到 $0.7$ 的 $\ln p(\theta')-\ln p(\theta)$ ，即 $\ln 0.9029$ 是多少？保留三位小数。

l =

允许误差:± 0.004

4数值作答10 分未作答

burn-in 之后，一条短链的值为 $0.62,\ 0.65,\ 0.65,\ 0.58,\ 0.70$ （第二个 $0.65$ 是被拒绝的移动）。后验均值的估计是多少？保留两位小数。

m =

允许误差:± 0.005

5选择10 分未作答

提议步长远远过大会怎样？

6排列步骤10 分未作答

把一次 Metropolis-Hastings 迭代的步骤按正确顺序排列。

拖动以重新排序;也可聚焦某项,按空格抬起,用方向键移动,再按空格放下。

1记录该点，无论新旧
2抽取 0 到 1 之间的均匀随机数 u
3提出附近的点
4若 u 小于比值就移动，否则留在原处
5计算后验高度之比

7配对15 分未作答

把每个术语与其含义配对。

为左侧每一项选择配对项。

链

burn-in

提议

接受率

8用文字解释15 分未作答

用一两句话解释：即使后验的归一化常数未知，Metropolis-Hastings 为什么仍然有效。

评分依据:接受步骤只用两个高度之比未知常数在两者中相同而被抵消0 / 400 字

数学模式键盘或 LaTeX 输入第 1/8 题 · Ctrl ⏎ 检查

从零实现 Metropolis-Hastings

探索无法写出的后验

实验：评分内容

登录后即可运行你的代码。

从零实现 Metropolis-Hastings

探索无法写出的后验

实验：评分内容

登录后即可运行你的代码。