Comparaison de modèles et facteurs de Bayes

Quel modèle explique mieux les données ?

Il faut souvent choisir entre deux idées sur le monde. Disons que le modèle $M_0$ affirme qu'une stratégie gagne exactement la moitié des jours, $\theta=0{,}5$. Le modèle $M_1$ admet n'importe quel taux de gain, avec un a priori plat. Chaque modèle reçoit un score : la vraisemblance marginale $P(D\mid M)$, la probabilité qu'il a donnée aux données réellement vues, moyennée sur son propre a priori. Le rapport des deux scores est le facteur de Bayes $BF_{10}=P(D\mid M_1)/P(D\mid M_0)$. Il dit à quel point les données favorisent $M_1$. Multipliez-le par la cote a priori pour obtenir la cote a posteriori.

Deux choses distinguent les facteurs de Bayes du simple choix du modèle qui s'ajuste le mieux. D'abord, ils pénalisent la complexité sans règle supplémentaire. Un modèle flexible répartit son a priori sur de nombreux résultats possibles, donc chacun reçoit peu de probabilité, et il ne gagne que si les données s'ajustent assez bien pour compenser. Ensuite, ils dépendent de l'a priori : un a priori très large sur $M_1$ est davantage pénalisé. Comme échelle approximative, un facteur entre $1$ et $3$ ne vaut presque pas d'être mentionné, de $3$ à $10$ il est modéré, de $10$ à $100$ fort, et au-delà de $100$ décisif.

• Vraisemblance marginale : la probabilité qu'un modèle a donnée aux données, moyennée sur son propre a priori.
• Facteur de Bayes : rapport de deux vraisemblances marginales. La cote a posteriori égale la cote a priori fois lui.
• Rasoir d'Occam intégré : les modèles flexibles diluent leur a priori et ont besoin que les données le justifient.

Lab : ce qui est noté

• Le modèle fixe15 pts
• Le modèle flexible15 pts
• Le facteur de Bayes15 pts
• La probabilité a posteriori15 pts
• Lire un facteur de 42715 pts
• Associer le vocabulaire10 pts
• Pourquoi la complexité est pénalisée15 pts