Modellvergleich und Bayes-Faktoren

Welches Modell erklärt die Daten besser?

Oft muss man zwischen zwei Vorstellungen von der Welt wählen. Modell $M_0$ behauptet, eine Strategie gewinne genau an der Hälfte der Tage, $\theta=0{,}5$. Modell $M_1$ erlaubt jede Gewinnrate mit einem flachen Prior. Jedes Modell bekommt eine Note: die marginale Likelihood $P(D\mid M)$, die Wahrscheinlichkeit, die es den tatsächlich gesehenen Daten gab, gemittelt über seinen eigenen Prior. Das Verhältnis beider Noten ist der Bayes-Faktor $BF_{10}=P(D\mid M_1)/P(D\mid M_0)$. Er sagt, wie stark die Daten $M_1$ begünstigen. Multipliziert mit den Prior-Odds ergibt er die Posterior-Odds.

Zwei Dinge unterscheiden Bayes-Faktoren davon, einfach das am besten passende Modell zu wählen. Erstens bestrafen sie Komplexität ohne zusätzliche Regel. Ein flexibles Modell verteilt seinen Prior auf viele mögliche Ergebnisse, daher bekommt jedes wenig Wahrscheinlichkeit, und es gewinnt nur, wenn die Daten gut genug passen, um das auszugleichen. Zweitens hängen sie vom Prior ab: Ein sehr breiter Prior bei $M_1$ wird stärker bestraft. Als grobe Skala: Ein Faktor von $1$ bis $3$ ist kaum der Rede wert, $3$ bis $10$ ist mäßig, $10$ bis $100$ stark und über $100$ entscheidend.

• Marginale Likelihood: die Wahrscheinlichkeit, die ein Modell den Daten gab, gemittelt über seinen eigenen Prior.
• Bayes-Faktor: Verhältnis zweier marginaler Likelihoods. Posterior-Odds sind Prior-Odds mal er.
• Eingebautes Ockhams Rasiermesser: Flexible Modelle verdünnen ihren Prior und brauchen Daten, die das rechtfertigen.

Lab: Was bewertet wird

• Das feste Modell15 Pkt.
• Das flexible Modell15 Pkt.
• Der Bayes-Faktor15 Pkt.
• Die Posterior-Wahrscheinlichkeit15 Pkt.
• Einen Faktor von 427 lesen15 Pkt.
• Begriffe zuordnen10 Pkt.
• Warum Komplexität bestraft wird15 Pkt.