重点サンプリング

重み付きサンプルで推定する

サンプルを引けない分布 $p$ のもとでの平均が欲しいことはよくあります。フィルタリングでは、$p$ は今日のデータを見た後の隠れ状態についての信念です。重点サンプリングのコツは、代わりに扱いやすい分布 $g$（提案分布）から引き、そのずれを重みで直すことです。提案分布が出しすぎる点 $x_i$ には小さな重み、出さなすぎる点には大きな重みを与えます：$w_i=p(x_i)/g(x_i)$。多くの場合 $p$ は定数倍を除いてしか分からないので、重みをその和で割って合計を $1$ にします。

フィルタでは、提案分布は予測（データを見る前に状態がありそうな場所）で、目標分布はデータを見た後の信念です。その比は観測の尤度そのものなので、粒子の重みは $y$ をどれだけうまく説明するかを表します。有効標本サイズ ESS は、重み付きサンプルが等しい重みの何個分に相当するかを示します。重みがすべて等しければ $N$、1点がすべてを担えば $1$ です。ESS が小さいと推定は少数の点に頼ることになり、ばらつきが大きくなります。提案分布が目標分布の質量のある場所を外したとき、たとえばデータが大きな驚きのときに起こります。

• 重みがずれを直す：扱いやすい $g$ から引き、$p/g$ で重み付けし、和で割る。
• フィルタでは重みは尤度：観測を最もよく説明する粒子が最大の重みを得る。
• ESS に注意：少数の点が支配すると $1/\sum\tilde w^{2}$ が下がる。これは提案分布が悪いという警告。

ラボ：採点される内容

• 正規化した重み15点
• 重み付き平均15点
• 有効標本サイズ15点
• 重み付き分散10点
• 危険な提案分布10点
• 重点サンプリングの手順10点
• 用語を結び付ける10点
• なぜ重みが必要か15点