不偏統計量

母平均の不偏推定量

標本 $X_1, X_2, \dots, X_n$ が母集団からの独立同分布に従うと仮定する.この時,それぞれの期待値と分散は次のように与えられる.\[\mathbb{E}[X_i] = \mu, \quad \text{Var}(X_i) = \sigma^2 \quad (i = 1, 2, \dots, n)\]

ここで,標本平均 $\overline{X}$ は次のように定義される.\[\overline{X} = \frac{1}{n} \sum_{i=1}^n X_i\]

この期待値を求める.\[\mathbb{E}[\overline{X}] = \mathbb{E}\left[\frac{1}{n} \sum_{i=1}^n X_i \right]\]

期待値の線形性を利用すると,\[\mathbb{E}[\overline{X}] = \frac{1}{n} \sum_{i=1}^n \mathbb{E}[X_i]\]

各 $X_i$ の期待値は $\mu$ に等しいので,\[\mathbb{E}[\overline{X}] = \frac{1}{n} \sum_{i=1}^n \mu\]

$\mu$ は定数であるため,和の外に出すことができる.\[\mathbb{E}[\overline{X}] = \frac{1}{n} \cdot n \cdot \mu\]

最後に,$n$ を約分すると,\[\mathbb{E}[\overline{X}] = \mu\]

したがって,標本平均の期待値は母集団平均に一致する.

すなわち,母集団の平均 $\mu$ の不偏推定量は標本平均 $\overline{X}$ である.

母分散の不偏推定量

$\mu$ を母平均とすると,母分散は以下のように定義される.\[\sigma^2 = E[(X - \mu)^2]\]

ここで,母平均 $\mu$ を標本平均 $\bar{X}$ で,期待値 $E[\cdot]$ を標本平均 $\frac{1}{n}\sum$ で置き換える.\[V = \frac{1}{n}\sum_{i=1}^n (X_i - \bar{X})^2\]上記の $V$ の期待値の計算する.まず,$(X_i - \bar{X})^2$ を展開.\[(X_i - \bar{X})^2 = X_i^2 - 2X_i\bar{X} + \bar{X}^2\]

次に,和を取る.\[\sum(X_i - \bar{X})^2 = \sum X_i^2 - 2\bar{X}\sum X_i + n\bar{X}^2\]

ここで,$\bar{X} = \frac{1}{n}\sum X_i$ より,$\sum X_i = n\bar{X}$ を代入.\[\sum(X_i - \bar{X})^2 = \sum X_i^2 - n\bar{X}^2\]

よって,\[V = \frac{1}{n}[\sum X_i^2 - n\bar{X}^2]\]

$V$ の期待値を考えると,\[\begin{eqnarray}E[V] &=& \frac{1}{n}E[\sum X_i^2 - n\bar{X}^2] \\&=& \frac{1}{n}[nE[X^2] - nE[\bar{X}^2]]\end{eqnarray}\]

ここで,\[\begin{eqnarray}E[X^2] &=& \sigma^2 + \mu^2 \\E[\bar{X}^2] &=& \frac{\sigma^2}{n} + \mu^2\end{eqnarray}\]を代入する.\[\begin{eqnarray}E[V] &=& \frac{1}{n}[n(\sigma^2 + \mu^2) - n(\frac{\sigma^2}{n} + \mu^2)] \\&=& \sigma^2 + \mu^2 - (\frac{\sigma^2}{n} + \mu^2) \\&=& \sigma^2 - \frac{\sigma^2}{n} \\&=& \frac{n-1}{n}\sigma^2\end{eqnarray}\]

$E[V] = \frac{n-1}{n}\sigma^2$ より,\[\sigma^2 = \frac{n}{n-1}E[V]\]

したがって,不偏推定量 $S^2$ は,\[S^2 = \frac{n}{n-1}V = \frac{1}{n-1}\sum_{i=1}^n (X_i - \bar{X})^2\]

となる.

Mathematics is the language with which God has written the universe.