Maximum-Likelihood

Die Parameter, die die Daten am wahrscheinlichsten machen

Angenommen, die Daten stammen aus einer Verteilungsfamilie mit unbekanntem Parameter $\theta$ (Mittelwert und Varianz einer Normalverteilung, Rate einer Poisson-Verteilung). Die Likelihood $L(\theta)=\prod_i f(x_i;\theta)$ ist die Wahrscheinlichkeit der tatsächlich beobachteten Daten als Funktion von $\theta$. Die Maximum-Likelihood-Schätzung wählt das $\hat\theta$, das die beobachteten Daten am wahrscheinlichsten macht. Sie ist das Arbeitspferd hinter Regression, Volatilitätsmodellen und großen Teilen des maschinellen Lernens.

In der Praxis maximiert man die Log-Likelihood $\ell$: Ein Produkt vieler kleiner Zahlen läuft unter und lässt sich schlecht ableiten, die Summe der Logarithmen ist dagegen stabil und hat dieselbe Maximalstelle, weil der Logarithmus steigend ist. Ableitung gleich null liefert für die Standardfälle geschlossene Formen. Für eine Poisson-Stichprobe gilt $\hat\lambda=\bar x$. Für eine Bernoulli-Stichprobe ist $\hat p$ der Erfolgsanteil. Für eine Normalstichprobe gilt $\hat\mu=\bar x$ und $\hat\sigma^2=\frac1n\sum(x_i-\bar x)^2$, mit $n$ statt $n-1$, was die Varianz in kleinen Stichproben leicht unterschätzt.

• Likelihood: die Wahrscheinlichkeit der beobachteten Daten als Funktion des Parameters.
• MLE: der Parameter, der sie maximiert; maximieren Sie die Log-Likelihood der Stabilität wegen.
• Eigenschaften: konsistent und asymptotisch normal unter milden Bedingungen, aber in kleinen Stichproben nicht immer erwartungstreu.