関係式：
回帰分析のモデルは次のように表される.\[\mathbf{y} = \mathbf{X} \boldsymbol{\beta} + \boldsymbol{\varepsilon},\]ここで,$\mathbf{y}$ は観測値ベクトル、$\mathbf{X}$ は説明行列,$\boldsymbol{\beta}$ は回帰係数ベクトル,$\boldsymbol{\varepsilon}$ は誤差項である.
回帰分析において,最小二乗法で得られた予測値は次のように計算される.\[\hat{\mathbf{y}} = \mathbf{P}_X \mathbf{y},\]ここで,$\mathbf{P}_X = \mathbf{X} (\mathbf{X}^T \mathbf{X})^{-1} \mathbf{X}^T$ は射影行列.残差ベクトル $\mathbf{e}$ は,観測値 $\mathbf{y}$ と予測値 $\hat{\mathbf{y}}$ の差として定義される.\[\mathbf{e} = \mathbf{y} - \hat{\mathbf{y}} = \mathbf{y} - \mathbf{P}_X \mathbf{y}.\]
この式は,残差ベクトルが観測値と予測値の差であることを示している.
次に,誤差項 $\boldsymbol{\varepsilon}$ は以下のように定義される.\[\boldsymbol{\varepsilon} = \mathbf{y} - \mathbf{X} \boldsymbol{\beta}.\]
従って,残差ベクトルは次のように表すことができる.\[\mathbf{e} = \mathbf{y} - \mathbf{P}_X \mathbf{y} = (\mathbf{X} \boldsymbol{\beta} + \boldsymbol{\varepsilon}) - \mathbf{P}_X (\mathbf{X} \boldsymbol{\beta} + \boldsymbol{\varepsilon}).\]
ここで、$\mathbf{P}_X \mathbf{X} \boldsymbol{\beta} = \mathbf{X} \boldsymbol{\beta}$ となることを考慮すると,残差ベクトルは次のように簡約化できる.\[\mathbf{e} = \boldsymbol{\varepsilon} - \mathbf{P}_X \boldsymbol{\varepsilon}.\]
以上より,残差ベクトルは誤差項に対して射影行列を適用した結果として以下のようになる.\[\mathbf{e} = (\mathbf{I} - \mathbf{P}_X) \boldsymbol{\varepsilon}\]
Mathematics is the language with which God has written the universe.