Importance Sampling

Schätzen mit gewichteten Stichproben

Oft will man einen Mittelwert unter einer Verteilung $p$, aus der man nicht ziehen kann. Beim Filtern ist $p$ die Überzeugung über den verborgenen Zustand nach den heutigen Daten. Der Trick des Importance Sampling ist, stattdessen aus einer einfachen Verteilung $g$ zu ziehen, dem Vorschlag, und die Abweichung durch Gewichte zu beheben. Ein Punkt $x_i$, den der Vorschlag zu oft erzeugt, bekommt ein kleines Gewicht, einer, den er zu selten erzeugt, ein großes: $w_i=p(x_i)/g(x_i)$. Meist kennt man $p$ nur bis auf eine Konstante, deshalb teilt man die Gewichte durch ihre Summe, sodass sie sich zu $1$ addieren.

Im Filter ist der Vorschlag die Vorhersage (wo der Zustand vor den Daten wahrscheinlich liegt) und das Ziel die Überzeugung nach den Daten. Ihr Verhältnis ist einfach die Likelihood der Beobachtung: Das Gewicht eines Partikels sagt, wie gut es $y$ erklärt. Die effektive Stichprobengröße, ESS, sagt, wie vielen gleich gewichteten Ziehungen die gewichtete Stichprobe entspricht. Sie ist $N$, wenn alle Gewichte gleich sind, und $1$, wenn ein Punkt alles trägt. Ist die ESS klein, beruht die Schätzung auf wenigen Punkten und ist verrauscht. Das passiert, wenn der Vorschlag die Stellen verfehlt, an denen das Ziel seine Masse hat, etwa bei einer großen Überraschung in den Daten.

• Gewichte beheben die Abweichung: aus einem einfachen $g$ ziehen, mit $p/g$ gewichten, durch die Summe teilen.
• Im Filter ist das Gewicht die Likelihood: Das Partikel, das die Beobachtung am besten erklärt, bekommt das meiste Gewicht.
• ESS im Blick behalten: $1/\sum\tilde w^{2}$ fällt, wenn wenige Punkte dominieren, ein Warnzeichen für einen schlechten Vorschlag.

Lab: Was bewertet wird

• Ein normiertes Gewicht15 Pkt.
• Der gewichtete Mittelwert15 Pkt.
• Die effektive Stichprobengröße15 Pkt.
• Die gewichtete Varianz10 Pkt.
• Ein gefährlicher Vorschlag10 Pkt.
• Die Schritte des Importance Sampling10 Pkt.
• Begriffe zuordnen10 Pkt.
• Warum man Gewichte braucht15 Pkt.