Maximum de vraisemblance

Les paramètres qui rendent les données les plus probables

Supposons que les données proviennent d'une famille de lois à paramètre inconnu $\theta$ (moyenne et variance d'une normale, taux d'une Poisson). La vraisemblance $L(\theta)=\prod_i f(x_i;\theta)$ est la probabilité, en fonction de $\theta$, des données réellement observées. L'estimation par maximum de vraisemblance choisit le $\hat\theta$ qui rend les données observées les plus probables. C'est le cheval de bataille de la régression, des modèles de volatilité et de la plupart de l'apprentissage automatique.

En pratique, on maximise la log-vraisemblance $\ell$ : un produit de nombreux petits nombres sous-dépasse la précision machine et se dérive mal, alors que la somme des logarithmes est stable et a le même maximiseur, car le logarithme est croissant. Annuler la dérivée donne des formes fermées pour les cas usuels. Pour un échantillon de Poisson, $\hat\lambda=\bar x$. Pour un échantillon de Bernoulli, $\hat p$ est la proportion de succès. Pour un échantillon normal, $\hat\mu=\bar x$ et $\hat\sigma^2=\frac1n\sum(x_i-\bar x)^2$, avec $n$ et non $n-1$ au dénominateur, ce qui sous-estime légèrement la variance en petit échantillon.

• Vraisemblance : la probabilité des données observées en fonction du paramètre.
• MLV : le paramètre qui la maximise ; maximisez la log-vraisemblance pour la stabilité.
• Propriétés : convergent et asymptotiquement normal sous des conditions faibles, mais pas toujours sans biais en petit échantillon.

Lab : ce qui est noté

• Un taux de Poisson10 pts
• Une variance normale15 pts
• Un taux de réussite10 pts
• Une log-vraisemblance15 pts
• Ce que fait le MLV15 pts
• Propriétés du MLV15 pts
• Pourquoi maximiser la log-vraisemblance20 pts