定義：multinomial distribution
多項分布の確率質量関数は,$n$ を試行回数,$k$ をカテゴリ数,$x_i$ は $i$ 番目のカテゴリが出現する回数 （$i = 1, \ldots, k$）,$p_i$ は $i$ 番目のカテゴリが出現する確率（$\sum_{i=1}^k p_i = 1$）として,以下のように表すことが出来る.\[P(X_1 = x_1, \ldots, X_k = x_k) = \frac{n!}{x_1! \cdots x_k!} p_1^{x_1} \cdots p_k^{x_k}\]
多項分布の期待値は次のように表される.\[E[X_i] = np_i\]
何故ならば,$X_i$ の期待値を考えると,\[E[X_i] = \sum_{x_i=0}^n x_i P(X_i = x_i)\]であるが,$X_i$ は二項分布 $Bin(n, p_i)$ に従うので,\[E[X_i] = np_i\]となるからである.
以下,多項分布の分散を導出する.まず,分散の定義式は,\[Var(X_i) = E[X_i^2] - (E[X_i])^2\]となる.ここで,$E[X_i]$ はすでに $np_i$ であることを上で示した.次に $E[X_i^2]$ を計算する.$X_i$ は二項分布 $Bin(n, p_i)$ に従うので,二項分布の性質を利用する.二項分布の2次モーメントは以下のようになる.\[E[X_i^2] = np_i(1-p_i) + (np_i)^2\]これを分散の定義式に代入すると,\[\begin{eqnarray}Var(X_i) &=& E[X_i^2] - (E[X_i])^2 \\&=& [np_i(1-p_i) + (np_i)^2] - (np_i)^2 \\&=& np_i(1-p_i) + (np_i)^2 - (np_i)^2 \\&=& np_i(1-p_i)\end{eqnarray}\]が得られる◻︎
$t = (t_1, t_2, \ldots, t_k)'$ を $k$ 次元ベクトルとして,\[M_X(t) = E[e^{t'X}] = (p_1e^{t_1} + p_2e^{t_2} + \cdots + p_ke^{t_k})^n\]
$s = (s_1, s_2, \ldots, s_k)'$ を $k$ 次元ベクトルとして,\[G_X(s) = E[s_1^{X_1}s_2^{X_2}\cdots s_k^{X_k}] = (p_1s_1 + p_2s_2 + \cdots + p_ks_k)^n\]
$i$ を虚数単位,$t = (t_1, t_2, \ldots, t_k)'$ を $k$ 次元ベクトルとして,\[\phi_X(t) = E[e^{it'X}] = (p_1e^{it_1} + p_2e^{it_2} + \cdots + p_ke^{it_k})^n\]
Mathematics is the language with which God has written the universe.