正規分布

多数のベルヌーイ試行[コイン投げなどの二値的な事象]の和[二項分布]は正規分布に近似できる.このことにより,多くの自然現象や統計的プロセスが正規分布によってモデル化できる理由の一つとなっている.

正規分布の確率密度関数の導出

二項分布の確率密度関数[probability density function，PDF]は，\[P_{B}=_{n}C_{x}p^{x}q^{n-x},x=0,1,\cdots,n\]と表される.この両辺の自然対数をとると，$p+q=1$ であることから，\[\begin{eqnarray}\ln P_{B}&=&\ln{\frac{n!}{x!(n-x)!}p^{x}(1-p)^{n-x}}\\&=&\ln n! - \ln x! - \ln(n-x)! + x\ln p + (n-x)\ln (1-p)\end{eqnarray}\]となる．

次に，この自然対数をとった二項分布の確率密度関数の $x$ における微分を考える．その前に，$\ln x!$ の微分を導いておく．まず，$\ln x!$ は $x$ が十分大きな自然数である場合には，$x$ が $1$ だけ増加しても，ほんの少ししか増加しない．従って，$\Delta x=1$ における平均変化率を $x$ における微分係数と考えることができる．つまり，\[\begin{eqnarray}(\ln x!)' \simeq \frac{\ln x - \ln(x-\Delta x)!}{\Delta x}&=&\frac{\ln x - \ln(x-\Delta x)!}{1}\\&=&\ln x! - \ln(x-1)!=\ln\frac{x!}{(x-1)!}=\ln x\end{eqnarray}\]となる．

同様にして，\[{\ln(n-x)!}' \simeq {\ln(n-x)}'(n-x)'=-\ln(n-x)\]となる．\[\ln n!=定数\]であるので，\[\begin{eqnarray}\ln P_{B}'&=&-\ln x+\ln(n-x)+\ln p - \ln(1-p)\\&=&\ln\frac{(n-x)}{(1-p)x}\end{eqnarray}\]となる．

ここで，$\ln P_{B}'=0$ のとき，\[\ln\frac{p(n-x)}{(1-p)x}=0,\frac{p(n-x)}{(1-p)x}=1\]つまり，\[p(n-x)=(1-p)x\]さらに変形して，\[np-px=x-px\]つまり，\[x=np=\mu\]となる．

ここで，\[\ln P_{B}'=-\ln x+\ln(n-x)+\ln p - \ln(1-p)\]を，さらに，$x$ で微分すると，\[\ln P_{B}''=-\frac{1}{x}+\frac{-1}{n-x}=-\frac{n}{x(n-x)}\]となる．この $x$ に先ほどの式で導いた $x=np=\mu$ を代入する．\[\ln P_{B}''=-\frac{n}{np(n-np)}=-\frac{1}{np(1-p)}=-\frac{1}{npq}\]ここで，\[npq=\sigma^{2}\]であることから，\[\ln P_{B}''=f''(\mu)=-\frac{1}{\sigma^{2}}\]となります．

さらに，$P_{B}$ を $x=\mu$ のまわりでテイラー展開すると，$P_{B}=f(x)$ とおいて，\[P_{B}=f(x)=f(\mu)+\frac{f'(\mu)}{1!}(x-\mu)+\frac{f''(\mu)}{2!}(x-\mu)^{2}+\frac{f^{(3)}(\mu)}{3!}(x-\mu)^{3}+\cdots\]となるが，第3項以降は，\[x \simeq \mu\]であることより，\[\frac{(x-\mu)^{k}}{k!} \simeq 0\]となるので，\[\ln P_{B}=f(x)=f(\mu)-\frac{1}{2\sigma^{2}}(x-\mu)^{2}\]となる．

ここで，\[f(x)=\ln P_{B}(x)\]であることから，\[\ln P_{B}(x) \simeq \ln P_{B}(\mu) + \ln e^{-\frac{(x-\mu)^{2}}{2\sigma^{2}}}\]さらに，\[P_{B}(\mu)=定数=c\]であることから，\[\ln P_{B}(x) \simeq \ln c \cdot e^{-\frac{(x-\mu)^{2}}{2\sigma^{2}}}\]ここで，確率密度の必要十分条件から，\[\int_{-\infty}^{\infty}c \cdot e^{-\frac{(x-\mu)^{2}}{2\sigma^{2}}}=1\]となる．\[z=\frac{x-\mu}{\sigma}\]とおくと，\[dz=\frac{1}{\sigma}dx\]つまり，\[dx=\sigma dz\]となることから，\[c \cdot \int_{\infty}^{\infty}e^{-\frac{z^{2}}{2}}\sigma dz=1\]となりますが，\[\int_{\infty}^{\infty}e^{-\frac{z^{2}}{2}}=\sqrt{2\pi}\]となるので，\[c \cdot \sqrt{2\pi}\sigma=1\]となり，結局，\[c=\frac{1}{\sqrt{2\pi}\sigma}\]となる．

つまり，確率密度関数は，\[\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^{2}}{2\sigma^{2}}}\]となり，正規分布 $N(\mu,\sigma^{2})$ の確率密度関数となる．

Mathematics is the language with which God has written the universe.