重要性采样

路线进度模块 2/3 · 主题 1/5

2.1 重要性采样

—实验得分— / 100总 XP—连续天数—

用带权样本估计

我们常常需要在一个无法直接抽样的分布 $p$ 下求平均。在滤波中， $p$ 就是看到今天的数据之后对隐含状态的信念。重要性采样的窍门是改从一个容易抽样的分布 $g$ （称为提议分布）中抽取，再用权重修正二者的差异：提议分布产生得太多的点 $x_i$ 权重小，产生得太少的点权重大，即 $w_i=p(x_i)/g(x_i)$ 。通常 $p$ 只知道差一个常数，所以把权重除以它们的和，使其总和为 $1$ 。

w_i=\frac{p(x_i)}{g(x_i)},\quad \tilde w_i=\frac{w_i}{\sum_j w_j},\quad E_p[f]\approx\sum_i\tilde w_i\,f(x_i),\quad \mathrm{ESS}=\frac{1}{\sum_i\tilde w_i^{2}}

(1)

在滤波中，提议分布是预测（看到数据之前状态可能所在的位置），目标分布是看到数据之后的信念。二者之比恰好是观测的似然，所以粒子的权重表示它对 $y$ 的解释程度。有效样本量 ESS 表示这批带权样本相当于多少个等权抽样：所有权重相等时为 $N$ ，只有一个点承载全部时为 $1$ 。ESS 很小时，估计只依赖少数几个点，噪声很大。当提议分布错过目标分布质量集中的区域时就会这样，例如数据是一个很大的意外。

四个粒子和一个观测从预测中抽取四个点

x=-1,0,1,2

，观测到

y=1

，噪声方差

r=1

。未归一化的权重为

e^{-(1-x)^2/2}=0.135,\ 0.607,\ 1,\ 0.607

，和为

2.348

。归一化后的权重为

0.058,\ 0.258,\ 0.426,\ 0.258

。加权均值为

0.885

，加权二阶矩为

1.516

，所以方差是

1.516-0.885^{2}=0.734

。有效样本量为

1/(0.058^2+0.258^2+0.426^2+0.258^2)=3.14

（共

4

个）。

权重修正差异：从容易的 $g$ 抽样，按 $p/g$ 加权，再除以总和。
滤波中权重就是似然：最能解释观测的粒子权重最大。
留意 ESS：少数点占主导时 $1/\sum\tilde w^{2}$ 会下降，这是提议分布不佳的警告信号。

实验：评分内容

归一化权重15 分
加权均值15 分
有效样本量15 分
加权方差10 分
危险的提议分布10 分
重要性采样的步骤10 分
配对术语10 分
为什么需要权重15 分

0/ 已答 8 题

1数值作答15 分未作答

四个粒子未归一化的权重为 $0.135,\ 0.607,\ 1,\ 0.607$ ，和为 $2.348$ 。第一个粒子归一化后的权重是多少？保留三位小数。

w =

允许误差:± 0.001

2数值作答15 分未作答

粒子 $x=-1,0,1,2$ 的归一化权重为 $0.058,\ 0.258,\ 0.426,\ 0.258$ 。加权均值 $\sum\tilde w_i x_i$ 是多少？保留三位小数。

m =

允许误差:± 0.003

3数值作答15 分未作答

归一化权重为 $0.058,\ 0.258,\ 0.426,\ 0.258$ 时，权重平方和为 $0.318$ 。有效样本量 $1/\sum\tilde w_i^{2}$ 是多少？保留两位小数。

ess =

允许误差:± 0.02

4数值作答10 分未作答

加权二阶矩 $\sum\tilde w_i x_i^{2}$ 为 $1.516$ ，加权均值为 $0.885$ 。加权方差是多少？保留三位小数。

v =

允许误差:± 0.004

5选择10 分未作答

哪种提议分布最可能导致极小的有效样本量？

6排列步骤10 分未作答

把自归一化重要性采样的步骤按正确顺序排列。

拖动以重新排序;也可聚焦某项,按空格抬起,用方向键移动,再按空格放下。

1把每个权重除以权重之和
2从容易的提议分布中抽点
3用归一化权重对该量求平均
4为每个点计算权重：目标除以提议

7配对10 分未作答

把每个术语与其含义配对。

为左侧每一项选择配对项。

提议分布

目标分布

重要性权重

有效样本量

8用文字解释15 分未作答

用一两句话解释：当我们从提议分布 $g$ 而不是目标分布 $p$ 中抽样时，为什么必须按 $p/g$ 给抽到的点加权。

评分依据:抽到的点来自错误的分布，所以某些区域出现过多，另一些过少权重 p/g 把每个点调低或调高来修正这一点0 / 400 字

数学模式键盘或 LaTeX 输入第 1/8 题 · Ctrl ⏎ 检查

重要性采样

路线进度模块 2/3 · 主题 1/5

2.1 重要性采样

—实验得分— / 100总 XP—连续天数—

用带权样本估计

w_i=\frac{p(x_i)}{g(x_i)},\quad \tilde w_i=\frac{w_i}{\sum_j w_j},\quad E_p[f]\approx\sum_i\tilde w_i\,f(x_i),\quad \mathrm{ESS}=\frac{1}{\sum_i\tilde w_i^{2}}

(1)

四个粒子和一个观测从预测中抽取四个点

x=-1,0,1,2

，观测到

y=1

，噪声方差

r=1

。未归一化的权重为

e^{-(1-x)^2/2}=0.135,\ 0.607,\ 1,\ 0.607

，和为

2.348

。归一化后的权重为

0.058,\ 0.258,\ 0.426,\ 0.258

。加权均值为

0.885

，加权二阶矩为

1.516

，所以方差是

1.516-0.885^{2}=0.734

。有效样本量为

1/(0.058^2+0.258^2+0.426^2+0.258^2)=3.14

（共

4

个）。

权重修正差异：从容易的 $g$ 抽样，按 $p/g$ 加权，再除以总和。
滤波中权重就是似然：最能解释观测的粒子权重最大。
留意 ESS：少数点占主导时 $1/\sum\tilde w^{2}$ 会下降，这是提议分布不佳的警告信号。

实验：评分内容

归一化权重15 分
加权均值15 分
有效样本量15 分
加权方差10 分
危险的提议分布10 分
重要性采样的步骤10 分
配对术语10 分
为什么需要权重15 分

0/ 已答 8 题

1数值作答15 分未作答

四个粒子未归一化的权重为 $0.135,\ 0.607,\ 1,\ 0.607$ ，和为 $2.348$ 。第一个粒子归一化后的权重是多少？保留三位小数。

w =

允许误差:± 0.001

2数值作答15 分未作答

粒子 $x=-1,0,1,2$ 的归一化权重为 $0.058,\ 0.258,\ 0.426,\ 0.258$ 。加权均值 $\sum\tilde w_i x_i$ 是多少？保留三位小数。

m =

允许误差:± 0.003

3数值作答15 分未作答

归一化权重为 $0.058,\ 0.258,\ 0.426,\ 0.258$ 时，权重平方和为 $0.318$ 。有效样本量 $1/\sum\tilde w_i^{2}$ 是多少？保留两位小数。

ess =

允许误差:± 0.02

4数值作答10 分未作答

加权二阶矩 $\sum\tilde w_i x_i^{2}$ 为 $1.516$ ，加权均值为 $0.885$ 。加权方差是多少？保留三位小数。

v =

允许误差:± 0.004

5选择10 分未作答

哪种提议分布最可能导致极小的有效样本量？

6排列步骤10 分未作答

把自归一化重要性采样的步骤按正确顺序排列。

拖动以重新排序;也可聚焦某项,按空格抬起,用方向键移动,再按空格放下。

1把每个权重除以权重之和
2从容易的提议分布中抽点
3用归一化权重对该量求平均
4为每个点计算权重：目标除以提议

7配对10 分未作答

把每个术语与其含义配对。

为左侧每一项选择配对项。

提议分布

目标分布

重要性权重

有效样本量

8用文字解释15 分未作答

用一两句话解释：当我们从提议分布 $g$ 而不是目标分布 $p$ 中抽样时，为什么必须按 $p/g$ 给抽到的点加权。

评分依据:抽到的点来自错误的分布，所以某些区域出现过多，另一些过少权重 p/g 把每个点调低或调高来修正这一点0 / 400 字

数学模式键盘或 LaTeX 输入第 1/8 题 · Ctrl ⏎ 检查

重要性采样

用带权样本估计

实验：评分内容

登录后即可运行你的代码。

重要性采样

用带权样本估计

实验：评分内容

登录后即可运行你的代码。