Máxima verosimilitud

Los parámetros que hacen más probables los datos

Supongamos que los datos proceden de una familia de distribuciones con un parámetro desconocido $\theta$ (la media y la varianza de una normal, la tasa de una Poisson). La verosimilitud $L(\theta)=\prod_i f(x_i;\theta)$ es la probabilidad, como función de $\theta$, de los datos realmente observados. La estimación por máxima verosimilitud elige el $\hat\theta$ que hace más probables los datos observados. Es el caballo de batalla de la regresión, los modelos de volatilidad y la mayor parte del aprendizaje automático.

En la práctica se maximiza la log-verosimilitud $\ell$: un producto de muchos números pequeños se desborda por abajo y es incómodo de derivar, mientras que la suma de logaritmos es estable y tiene el mismo maximizador, porque el logaritmo es creciente. Igualar la derivada a cero da formas cerradas para los casos habituales. Para una muestra de Poisson, $\hat\lambda=\bar x$. Para una de Bernoulli, $\hat p$ es la proporción de éxitos. Para una muestra normal, $\hat\mu=\bar x$ y $\hat\sigma^2=\frac1n\sum(x_i-\bar x)^2$, dividiendo por $n$ y no por $n-1$, lo que subestima ligeramente la varianza en muestras pequeñas.

• Verosimilitud: la probabilidad de los datos observados como función del parámetro.
• MV: el parámetro que la maximiza; maximice la log-verosimilitud por estabilidad.
• Propiedades: consistente y asintóticamente normal bajo condiciones suaves, pero no siempre insesgado en muestras pequeñas.

Lab: qué se califica

• Una tasa de Poisson10 pts
• Una varianza normal15 pts
• Una tasa de acierto10 pts
• Una log-verosimilitud15 pts
• Qué hace el MV15 pts
• Propiedades del MV15 pts
• Por qué maximizar la log-verosimilitud20 pts