フィッシャー情報行列

$\theta$ を母数とし，$X$ を確率密度関数 $f(x| \theta)$ によって表される確率関数とします．

このとき，$\theta$ の尤度関数 $L(\theta | x)$ は，\[L(\theta | x)=f(x | \theta)\]と定義されます．

そして，対数尤度関数を微分したもの[スコア関数]を考えると，\[V(x;\theta)=\frac{\partial }{\partial \theta} \ln L(\theta | x) \]となります．

このとき，フィッシャー情報量 $\mathcal{I}_{X}(\theta)$ はスコア関数の2次のモーメントとして定義されます．

フィッシャー情報量[Fisher information]

フィッシャー情報量とは，確率変数 $X$ が母数 $\theta$ に関して持つ情報量を表すもので，\[ \begin{eqnarray} \mathcal{I}_{X}(\theta) &=& E[V(x;\theta)^{2}|\theta]\\ &=& E[(\frac{\partial}{\partial \theta}\ln L(\theta|x))^{2}|\theta] \end{eqnarray}\]と定義されます．

Mathematics is the language with which God has written the universe.

古典情報と量子情報 - フィッシャー情報行列 - 機械学習 - 2010年代 - 代数的確率空間