Gibbs-Sampling

Ein Stück nach dem anderen aktualisieren

Manche Posterioren sind als Ganzes schwer, aber Stück für Stück leicht. Gibbs-Sampling nutzt das. Bei zwei Unbekannten, etwa einem Mittelwert $\mu$ und einer Präzision $\tau$ (eins durch Varianz), braucht man ihre gemeinsame Verteilung nicht. Ziehen Sie $\mu$ aus seiner Verteilung bei gegebenem aktuellem $\tau$. Dann ziehen Sie $\tau$ aus seiner Verteilung bei gegebenem neuem $\mu$. Wiederholen. Jede Ziehung ist bedingt und wird immer akzeptiert: Anders als bei Metropolis-Hastings gibt es keinen Akzeptieren-oder-Ablehnen-Schritt. Die gesammelten Paare bilden eine Kette, die die gemeinsame Posterior erkundet.

Gibbs funktioniert am besten, wenn die Stücke nicht eng miteinander verbunden sind. Sind zwei Unbekannte stark korreliert, kann jede bedingte Ziehung nur einen winzigen Schritt entlang des schmalen Kamms machen, die Kette läuft im Zickzack und kommt langsam voran. Ein Beispiel mit zwei Variablen: Sind $x$ und $y$ bivariat normal mit Korrelation $\rho$, dann ist $x$ bei gegebenem $y$ normal mit Mittelwert $\rho y$ und Standardabweichung $\sqrt{1-\rho^{2}}$. Mit $\rho=0{,}8$ und $y=2$ hat die Ziehung von $x$ Mittelwert $1{,}6$ und Standardabweichung $0{,}6$. Mit $\rho=0{,}99$ sinkt sie auf $0{,}14$, und die Schritte werden winzig.

• Gibbs-Sampling: jede Unbekannte der Reihe nach aus ihrer bedingten Verteilung bei gegebenen anderen ziehen.
• Keine Ablehnung: Jede bedingte Ziehung bleibt erhalten, aber jede bedingte Verteilung muss leicht zu ziehen sein.
• Starke Korrelation zwischen Unbekannten lässt die Kette im Zickzack laufen und langsam mischen.

Lab: Was bewertet wird

• Ein bedingter Mittelwert15 Pkt.
• Eine bedingte Streuung10 Pkt.
• Den Mittelwert ziehen15 Pkt.
• Die Präzision ziehen15 Pkt.
• Kein Ablehnungsschritt10 Pkt.
• Ein Durchlauf10 Pkt.
• Begriffe zuordnen10 Pkt.
• Starke Korrelation bremst Gibbs15 Pkt.