尤度関数

定義：尤度関数[likelihood function]

観測データを $\mathbf{x} = (x_1, x_2, \dots, x_n)$,モデルのパラメータを $\theta$,確率密度関数または確率質量関数を $f(x \mid \theta)$ とすると,尤度関数は以下のように定義される.\[ L(\theta \mid \mathbf{x}) = \prod_{i=1}^n f(x_i \mid \theta) \]

確率密度関数または確率質量関数を $f(\mathbf{x} \mid \theta)$ を $\mathbf{x}$ の関数としてみると確率モデルですある.一方で,これを $\theta$ の関数とみなして $L(\theta \mid \mathbf{x})$ と書き換えたものが尤度になる.

尤度関数 $L(\theta \mid \mathbf{x})$ は,複数の確率密度または確率質量の積で表される.この積は,データ量 $n$ に応じて指数関数的に増減するため,計算が非常に複雑で数値的に不安定になることがある.一方で,対数をとると積が和になるため,計算が容易になる.また,極値を求める際にも便利である.

そのため,尤度関数 $L(\theta \mid \mathbf{x})$ の対数を取った対数尤度関数[log-likelihood]が用いられる.\[\ell(\theta \mid \mathbf{x}) = \log L(\theta \mid \mathbf{x}) = \sum_{i=1}^n \log f(x_i \mid \theta)\]

小史

尤度の概念の起源は,ダニエル・ベルヌーイ[Daniel Bernoulli]は1778年の天文観測データを分析した論文の中に萌芽が見受けられる.さらに,19世紀のイギリスの統計学者トーマス・ベイズ[Thomas Bayes]とピエール＝シモン・ラプラス[Pierre-Simon Laplace]の確率論に求めることができる.また,ピアソン[Karl Pearson]は1900年以前の論文で似たような概念を議論している.

しかし,現在の尤度という用語とその具体的な定義を最初に提示したのはロナルド・A・フィッシャー[Ronald A. Fisher]である.

フィッシャーは1921年の論文において,尤度[likelihood]の概念を初めて明確に定義し,それを用いた推定方法である最大尤度法[Maximum Likelihood Estimation, MLE]の理論的基礎を確立した.

Fisher, R. A. （1921）. On the "probable error" of a coefficient of correlation deduced from a small sample. *Metron*, 1, 3–32.

Mathematics is the language with which God has written the universe.

測度連想記憶モデルボルツマンマシン Haar測度局所コンパクトなトポロジー群コンパクト集合