尤度について、たくさん図を使って解説する - 統計を学ぶ化学系技術者の記録

ベイズ推定や最尤法を勉強していると「尤度」という概念が登場してくる。

すると大体こんな感じの数式が出てきて、数学が苦手な人間としてはそれだけできつい。

$\begin{align}L(\boldsymbol{\theta} | x_1, \ldots, x_n)=\prod_{i=1}^n f(x_i| \boldsymbol{\theta}).\end{align}$

そこでこれをひたすら図を使って表現することを試みたい。

①データを集める

今回は

「あるポリマー材料に４ロットを抜き出して、含まれる不純物を測定したら、順に55pppm、65ppm、60ppm、50ppmだった」

とします。これを標本 $x_i$ と呼ぶ。

②確率密度関数

次に母集団の確率密度関数を考える。

今回の例であれば、「すべてのロットを検査した場合に検出される不純物の分布」で、仮に標準偏差 $\sigma$ =5、平均値 $\mu$ =50ppmの正規分布に従うと仮定する。

実際に計算すると正規分布の式に代入して以下のようになる。

$f(x)=\dfrac{1}{\sqrt{2\pi}\sigma}\exp(-\dfrac{(x-\mu)^ 2}{2\sigma^ 2})=\dfrac{1}{\sqrt{2\pi}\times5}\exp(-\dfrac{(x-50)^ 2}{2\times5^ 2})$

③各データの確率密度を求める

そしてこの確率密度関数に、要素 $x_i$ を代入すると、それぞれの確率密度が求められる。

この確率密度分布から、データが得られる確率（のようなもの）に相当する。

厳密には確率は積分した値で、点だと確率密度になるというややこしい話はいったん置いておいておく。

実際に計算すると下記になる。

$f(x_1)=\dfrac{1}{\sqrt{2\pi}\times5}\exp(-\dfrac{(55-50)^ 2}{2\times5^ 2})=0.0484$

$f(x_2)=\dfrac{1}{\sqrt{2\pi}\times5}\exp(-\dfrac{(65-50)^ 2}{2\times5^ 2})=0.0009$

$f(x_3)=\dfrac{1}{\sqrt{2\pi}\times5}\exp(-\dfrac{(60-50)^ 2}{2\times5^ 2})=0.0108$

$f(x_4)=\dfrac{1}{\sqrt{2\pi}\times5}\exp(-\dfrac{(50-50)^ 2}{2\times5^ 2})=0.0798$

④すべての確率密度を掛け合わせたものが尤度

③の確率密度をすべて掛け合わせたものが「尤度」である。

ある確率密度関数から、全てのデータ得られる同時確率（のようなもの）を表している。

今回の尤度を実際に計算するとこのようになる。

$\begin{align}\prod_{i=1}^n f(x_i)=f(x_1){\times}f(x_2){\times}f(x_3){\times}f(x_4)\end{align}$

$\begin{align}=0.0484\times0.0009\times0.0108\times0.0798=3.70\times10^{-8}\end{align}$

⑤データの分布と確率度密度関数が一致しているほど尤度は大きくなる

この尤度、「データから母集団の分布を推定する」のに使われる。

尤度が一番大きくなるように確率密度関数が、「このデータを得られる確率が最も高い分布」ということになる。

図の例は正規分布の平均値を40,50,60と変えた時の尤度の変化を示している。

この3つでは平均値60のものが尤度が最も大きく、得られたデータと確率密度関数がよく一致している（=このデータを得られる確率が高い）となる。

⑥尤度関数を使って最適な確率密度分布を探す

確率密度関数のパラメータ $\theta$ を変化させたときの尤度の変化を表したものを尤度関数 $L(\theta)$ という。

下図は正規分布の平均値 $\mu$ をパラメータとして変化させたときの尤度の変化をグラフにしたものである。見るとデータ $x_i$ の平均値である57.5で極大値を取ることが分かる。

ちゃんと式にするとこんな感じになる。

$L(\mu)=\dfrac{1}{\sqrt{2\pi}\times5}\exp(-\dfrac{(55-\mu)^ 2}{2\times5^ 2})\times\dfrac{1}{\sqrt{2\pi}\times5}\exp(-\dfrac{(65-\mu)^ 2}{2\times5^ 2})\times\dfrac{1}{\sqrt{2\pi}\times5}\exp(-\dfrac{(60-\mu)^ 2}{2\times5^ 2})\times\dfrac{1}{\sqrt{2\pi}\times5}\exp(-\dfrac{(50-\mu)^ 2}{2\times5^ 2})$