Eine Posterior erkunden, die man nicht hinschreiben kann
Oft kann man die Posterior nur bis auf eine Konstante hinschreiben, als Prior mal Likelihood, und weder aufsummieren noch ihren Mittelwert algebraisch finden. Metropolis-Hastings baut einen Zufallsweg, der Orte im Verhältnis zur Posterior besucht. Schlagen Sie am aktuellen Punkt einen nahen Punkt vor, etwa plus etwas Normalrauschen. Vergleichen Sie die Posterior-Höhen mit dem Verhältnis . Ist , ist der neue Punkt mindestens so gut: Bewegen Sie sich. Sonst bewegen Sie sich mit Wahrscheinlichkeit . Bewegen Sie sich nicht, notieren Sie den aktuellen Punkt erneut. Die unbekannte Konstante ist in beiden Höhen gleich und kürzt sich im Verhältnis heraus. Darum funktioniert die Methode.
Die Liste der besuchten Punkte ist die Kette. Nach einer Aufwärmphase, Burn-in genannt, verhält sie sich wie eine Stichprobe der Posterior, Mittelwert und Intervall ergeben sich also aus einfachen Mittelwerten und Perzentilen der Kette. Die Schrittweite ist der wichtigste Regler. Ist sie zu klein, wird fast jeder Schritt akzeptiert, aber die Kette kriecht. Ist sie zu groß, landen die meisten Vorschläge an schlechten Stellen und werden abgelehnt, die Kette steht still. Eine gute Kette akzeptiert etwa ein Viertel bis die Hälfte der Vorschläge. Sehen Sie sich die Kette immer an: Zeichnen Sie sie und starten Sie sie an verschiedenen Orten, um zu sehen, dass sie übereinstimmen.
- Vorschlag und Verhältnis: einen nahen Punkt vorschlagen und Posterior-Höhen vergleichen. Die unbekannte Konstante kürzt sich.
- Kette: die besuchten Punkte, bei abgelehntem Schritt wiederholt. Burn-in verwerfen, dann mitteln.
- Schrittweite: zu klein kriecht, zu groß bleibt hängen. Ziel: etwa ein Viertel bis die Hälfte akzeptieren.
Lab: Was bewertet wird
- Ein guter Vorschlag15 Pkt.
- Ein schlechterer Vorschlag15 Pkt.
- Ein Log-Verhältnis10 Pkt.
- Eine Kette mitteln10 Pkt.
- Eine zu große Schrittweite10 Pkt.
- Eine Iteration10 Pkt.
- Begriffe zuordnen15 Pkt.
- Warum die Konstante nicht nötig ist15 Pkt.