モーメント母関数

$e^{\theta X}$ をマクローリン展開すると，\[e^{\theta X}=1+\frac{\theta X}{1!}+\frac{(\theta X)^{2}}{2!}+\frac{(\theta X)^{3}}{3!}+\cdots\]となるので，\[M(\theta)=E[e^{\theta X}]=E[1]+E[X]\frac{\theta}{1!}+E[X^{2}]\frac{\theta}{2!}+E[X^{3}]\frac{\theta}{3!}+\cdots\]となります．

ここで，\[E[1]=1\]であるので，\[M(\theta)=1++E[X]\frac{\theta}{1!}+E[X^{2}]\frac{\theta}{2!}+E[X^{3}]\frac{\theta}{3!}+\cdots\]となります．

この $M(\theta)$ を $\theta$ で微分すると，\[M'(\theta)=E[X]\cdot\frac{1}{1!}+E[X^{2}]\cdot\frac{2\theta}{2!}+E[X^{3}]\cdot\frac{3\theta^{2}}{3!}+\cdots\]\[=E[X]+E[X^{2}]\cdot\frac{\theta}{2!}+E[X^{3}]\cdot\frac{\theta^{2}}{2!}+\cdots\]$\theta=0$ を代入すると，\[M'(0)=E[X]\]となります．これはモーメント母関数の1階微分が期待値になることを示しています．

また，$M(\theta)$ を $\theta$ で2階微分すると，\[M''(\theta)=E[X^{2}]\cdot\frac{1}{1!}+E[X^{3}]\cdot\frac{2\theta}{2!}+E[X^{4}]\cdot\frac{3\theta^{2}}{3!}+\cdots\]\[=E[X^{2}]+E[X^{3}]\cdot\frac{\theta}{1!}+E[X^{4}]\cdot\frac{\theta^{2}}{2!}+\cdots\]先と同じように，$\theta=0$ を代入すると，\[M''(0)=E[X^{2}]\]となります．ここで，確率変数 $X$ の分散を考えると，\[\sigma^{2}=E[X^{2}]-E[X]^{2}\]となります．この式に先のモーメント母関数の結果を代入すると，\[\sigma^{2}=E[X^{2}]-E[X]^{2}=M''(0)-M'(0)^{2}\]となる．すなわち，確率変数 $X$ の期待値も分散も共にモーメント母関数で表現出来るということになります．

離散型のときと同じように，$e^{\theta X}$ をマクローリン展開すると，\[e^{\theta X}=1+\frac{\theta X}{1!}+\frac{(\theta X)^{2}}{2!}+\frac{(\theta X)^{3}}{3!}+\cdots\]となるので，\[M(\theta)=E[e^{\theta X}]=E[1]+E[X]\frac{\theta}{1!}+E[X^{2}]\frac{\theta}{2!}+E[X^{3}]\frac{\theta}{3!}+\cdots\]となります．

ここで，\[E[1]=\int_{-\infty}^{\infty}1 \cdot f(x) dx=1\]であるので，\[M(\theta)=1++E[X]\frac{\theta}{1!}+E[X^{2}]\frac{\theta}{2!}+E[X^{3}]\frac{\theta}{3!}+\cdots\]となります．

以上より，離散型の場合と同様に，確率密度 $f(x)$ の確率分布の期待値 $\mu$ と分散 $\sigma^{2}$ は，\[\begin{eqnarray}\mu&=&E[X]=M'(0)\\\sigma^{2}&=&E[X^{2}]-E[X]^{2}=M''(0)-M'(0)^{2}\end{eqnarray}\]となります．

Mathematics is the language with which God has written the universe.