Comparação de modelos e fatores de Bayes

Qual modelo explica melhor os dados?

Muitas vezes é preciso escolher entre duas ideias sobre o mundo. Digamos que o modelo $M_0$ afirma que uma estratégia ganha exatamente metade dos dias, $\theta=0{,}5$. O modelo $M_1$ admite qualquer taxa de acerto, com um prior plano. Cada modelo recebe uma nota: a verossimilhança marginal $P(D\mid M)$, a probabilidade que deu aos dados realmente vistos, tirada a média sobre seu próprio prior. A razão das duas notas é o fator de Bayes $BF_{10}=P(D\mid M_1)/P(D\mid M_0)$. Ele diz o quanto os dados favorecem $M_1$. Multiplique-o pelas odds prévias para obter as odds posteriores.

Duas coisas distinguem os fatores de Bayes de simplesmente escolher o modelo que melhor se ajusta. Primeiro, eles penalizam a complexidade sem nenhuma regra extra. Um modelo flexível espalha seu prior por muitos resultados possíveis, então cada um recebe pouca probabilidade, e só vence se os dados se ajustarem bem o bastante para compensar. Segundo, dependem do prior: um prior muito largo em $M_1$ é mais penalizado. Como escala aproximada, um fator entre $1$ e $3$ mal merece menção, de $3$ a $10$ é moderado, de $10$ a $100$ é forte e acima de $100$ é decisivo.

• Verossimilhança marginal: a probabilidade que um modelo deu aos dados, tirada a média sobre seu próprio prior.
• Fator de Bayes: razão de duas verossimilhanças marginais. As odds posteriores são as prévias vezes ele.
• Navalha de Occam embutida: modelos flexíveis diluem seu prior e precisam que os dados o justifiquem.

Lab: o que é avaliado

• O modelo fixo15 pts
• O modelo flexível15 pts
• O fator de Bayes15 pts
• A probabilidade posterior15 pts
• Ler um fator de 42715 pts
• Associar o vocabulário10 pts
• Por que a complexidade é penalizada15 pts