定義：conditional expectation
離散的な場合は,\[E[X|Y=y] = \sum_{x} x P(X=x|Y=y)\]ここで,\[P(X=x|Y=y) = \frac{P(X=x, Y=y)}{P(Y=y)}\]は条件付き確率である.
より一般的には,条件付き期待値は,$\sigma$代数 $\mathcal{G}$ に関する条件付き期待値 $E[X|\mathcal{G}]$ として,$\mathcal{G}$-可測な確率変数で,任意の $A \in \mathcal{G}$ に対して,\[\int_A E[X|\mathcal{G}] dP = \int_A X dP\]を満たすものとして定義される.
左辺の積分は $E[X|\mathcal{G}]$ を $A$ 上で $P$ に関して積分したものである.
一方,右辺の $\int_A X dP$ で, $X$ は元の確率変数を表す.そして,この積分は $X$ を $A$ 上で $P$ に関して積分したものである.
以上から,$E[X|\mathcal{G}]$ は $X$ の $\mathcal{G}$ に関する最良の推定であるということができる.すなわち,この等式は, $A$ 上での $E[X|\mathcal{G}]$ の平均が $X$ の平均と一致することを示している.言い換えると, $E[X|\mathcal{G}]$ は $\mathcal{G}$ の情報のみを用いて $X$ を予測する際の最適な推定値となっているということができる.
$\mathcal{G}$ を 確率変数 $Y$ によって生成される $\sigma$-代数とすると,\[E[X|\mathcal{G}] = E[X|Y]\]ここで,\[\int_A E[X|\mathcal{G}] dP = \int_A X dP\]を,$Y$ の特定の値 $y$ に対して適用すると,\[\int_A E[X|Y] dP = \int_A X dP, \quad A \in \sigma(Y)\]となる.さらに,$A$ を十分小さな区間 $[y, y+dy]$ とすると,\[E[X|Y=y]P(y \leq Y \leq y+dy) \approx \int_y^{y+dy} X dP\]両辺を $P(y \leq Y \leq y+dy)$ で割ると,\[E[X|Y=y] \approx \frac{\int_y^{y+dy} X dP}{P(y \leq Y \leq y+dy)}\]$dy \to 0$ の極限をとると,\[\begin{eqnarray}E[X|Y=y] &=& \lim_{dy \to 0} \frac{\int_y^{y+dy} X dP}{P(y \leq Y \leq y+dy)}\\&=& \int_{-\infty}^{\infty} x f_{X|Y}(x|y) dx \end{eqnarray}\]となる□
Mathematics is the language with which God has written the universe.