Máxima verossimilhança

Os parâmetros que tornam os dados mais prováveis

Suponha que os dados venham de uma família de distribuições com um parâmetro desconhecido $\theta$ (a média e a variância de uma normal, a taxa de uma Poisson). A verossimilhança $L(\theta)=\prod_i f(x_i;\theta)$ é a probabilidade, como função de $\theta$, dos dados realmente observados. A estimação por máxima verossimilhança escolhe o $\hat\theta$ que torna os dados observados o mais prováveis. É o cavalo de batalha da regressão, dos modelos de volatilidade e de boa parte do aprendizado de máquina.

Na prática maximiza-se a log-verossimilhança $\ell$: um produto de muitos números pequenos sofre underflow e é incômodo de derivar, enquanto a soma de logaritmos é estável e tem o mesmo maximizador, porque o logaritmo é crescente. Igualar a derivada a zero dá formas fechadas para os casos usuais. Para uma amostra de Poisson, $\hat\lambda=\bar x$. Para uma de Bernoulli, $\hat p$ é a proporção de sucessos. Para uma amostra normal, $\hat\mu=\bar x$ e $\hat\sigma^2=\frac1n\sum(x_i-\bar x)^2$, dividindo por $n$ e não por $n-1$, o que subestima levemente a variância em amostras pequenas.

• Verossimilhança: a probabilidade dos dados observados como função do parâmetro.
• MV: o parâmetro que a maximiza; maximize a log-verossimilhança por estabilidade.
• Propriedades: consistente e assintoticamente normal sob condições brandas, mas nem sempre não viesado em amostras pequenas.

Lab: o que é avaliado

• Uma taxa de Poisson10 pts
• Uma variância normal15 pts
• Uma taxa de acerto10 pts
• Uma log-verossimilhança15 pts
• O que faz o MV15 pts
• Propriedades do MV15 pts
• Por que maximizar a log-verossimilhança20 pts