ベルヌーイ分布から正規分布の導出

ベルヌーイ分布の確率密度関数[probability density function,PDF](=確率関数[probability function],確率分布関数[probability distribution function])は,\[P_{B}=_{n}C_{x}p^{x}q^{n-x},x=0,1,\cdots,n\]と表されますが,この両辺の自然対数をとると,$p+q=1$ であることから,\[\begin{eqnarray}\ln P_{B}&=&\ln{\frac{n!}{x!(n-x)!}p^{x}(1-p)^{n-x}}\\&=&\ln n! - \ln x! - \ln(n-x)! + x\ln p + (n-x)\ln (1-p)\end{eqnarray}\]となります.

次に,この自然対数をとったベルヌーイ分布の確率密度関数の $x$ における微分を考えます.その前に,$\ln x!$ の微分を導いておきます.まず,$\ln x!$ は $x$ が十分大きな自然数である場合には,$x$ が $1$ だけ増加しても,ほんの少ししか増加しません.従って,$\Delta x=1$ における平均変化率を $x$ における微分係数と考えることができます.つまり,\[\begin{eqnarray}(\ln x!)' \simeq \frac{\ln x - \ln(x-\Delta x)!}{\Delta x}&=&\frac{\ln x - \ln(x-\Delta x)!}{1}\\&=&\ln x! - \ln(x-1)!=\ln\frac{x!}{(x-1)!}=\ln x\end{eqnarray}\]となります.

同様にして,\[{\ln(n-x)!}' \simeq {\ln(n-x)}'(n-x)'=-\ln(n-x)\]となります.\[\ln n!=定数\]であるので,\[\begin{eqnarray}\ln P_{B}'&=&-\ln x+\ln(n-x)+\ln p - \ln(1-p)\\&=&\ln\frac{(n-x)}{(1-p)x}\end{eqnarray}\]となります.

ここで,$\ln P_{B}'=0$ のとき,\[\ln\frac{p(n-x)}{(1-p)x}=0,\frac{p(n-x)}{(1-p)x}=1\]つまり,\[p(n-x)=(1-p)x\]さらに変形して,\[np-px=x-px\]つまり,\[x=np=\mu\]となります.

ここで,\[\ln P_{B}'=-\ln x+\ln(n-x)+\ln p - \ln(1-p)\]を,さらに,$x$ で微分すると,\[\ln P_{B}''=-\frac{1}{x}+\frac{-1}{n-x}=-\frac{n}{x(n-x)}\]となります.この $x$ に先ほどの式で導いた $x=np=\mu$ を代入します.\[\ln P_{B}''=-\frac{n}{np(n-np)}=-\frac{1}{np(1-p)}=-\frac{1}{npq}\]ここで,\[npq=\sigma^{2}\]であることから,\[\ln P_{B}''=f''(\mu)=-\frac{1}{\sigma^{2}}\]となります.

さらに,$P_{B}$ を $x=\mu$ のまわりでテイラー展開すると,$P_{B}=f(x)$ とおいて,\[P_{B}=f(x)=f(\mu)+\frac{f'(\mu)}{1!}(x-\mu)+\frac{f''(\mu)}{2!}(x-\mu)^{2}+\frac{f^{(3)}(\mu)}{3!}(x-\mu)^{3}+\cdots\]となりますが,第3項以降は,\[x \simeq \mu\]であることより,\[\frac{(x-\mu)^{k}}{k!} \simeq 0\]となるので,\[\ln P_{B}=f(x)=f(\mu)-\frac{1}{2\sigma^{2}}(x-\mu)^{2}\]となります.

ここで,\[f(x)=\ln P_{B}(x)\]であることから,\[\ln P_{B}(x) \simeq \ln P_{B}(\mu) + \ln e^{-\frac{(x-\mu)^{2}}{2\sigma^{2}}}\]さらに,\[P_{B}(\mu)=定数=c\]であることから,\[\ln P_{B}(x) \simeq \ln c \cdot e^{-\frac{(x-\mu)^{2}}{2\sigma^{2}}}\]ここで,確率密度の必要十分条件から,\[\int_{\infty}^{\infty}c \cdot e^{-\frac{(x-\mu)^{2}}{2\sigma^{2}}}=1\]となります.\[z=\frac{x-\mu}{\sigma}\]とおくと,\[dz=\frac{1}{\sigma}dx\]つまり,\[dx=\sigma dz\]となることから,\[c \cdot \int_{\infty}^{\infty}e^{-\frac{z^{2}}{2}}\sigma dz=1\]となりますが,\[\int_{\infty}^{\infty}e^{-\frac{z^{2}}{2}}=\sqrt{2\pi}\]となるので,\[c \cdot \sqrt{2\pi}\sigma=1\]となり,結局,\[c=\frac{1}{\sqrt{2\pi}\sigma}\]となります.

つまり,確率密度関数は,\[\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^{2}}{2\sigma^{2}}}\]となり,正規分布 $N(\mu,\sigma^{2})$ の確率密度分布となります.


Mathematics is the language with which God has written the universe.





















スターリングの公式 - ベルヌーイ分布から正規分布の導出 - ウォリスの公式 - ウォリスの積分 - 勾配ベクトル