最尤法

データを最も起こりやすくするパラメータ

データが未知のパラメータ $\theta$ を持つ分布族から来ていると仮定します（正規分布の平均と分散、ポアソン分布の率など）。尤度 $L(\theta)=\prod_i f(x_i;\theta)$ は、実際に観測したデータの確率を $\theta$ の関数として見たものです。最尤推定は、観測したデータを最も起こりやすくする $\hat\theta$ を選びます。回帰、ボラティリティモデル、機械学習の大半を支える主力の手法です。

実際には対数尤度 $\ell$ を最大化します。小さな数の多数の積はアンダーフローしやすく微分もしにくい一方、対数の和は安定で、対数が増加関数なので最大点は同じです。微分を0とおくと、標準的な場合に閉じた式が得られます。ポアソンでは $\hat\lambda=\bar x$、ベルヌーイでは $\hat p$ が成功の割合、正規分布では $\hat\mu=\bar x$、$\hat\sigma^2=\frac1n\sum(x_i-\bar x)^2$ です。$n-1$ でなく $n$ で割るので、小標本では分散がやや小さめに推定されます。

• 尤度：観測データの確率をパラメータの関数として見たもの。
• 最尤推定量：尤度を最大にするパラメータ。安定のため対数尤度を最大化する。
• 性質：緩い条件のもとで一致性と漸近正規性を持つが、小標本で常に不偏とは限らない。

ラボ：採点される内容

• ポアソン率10点
• 正規分布の分散15点
• 勝率10点
• 対数尤度15点
• 最尤推定が行うこと15点
• 最尤推定量の性質15点
• なぜ対数尤度を最大化するか20点