定義：linear constraints
$\mathbf{X}$ を $n \times r$ の行列,$\boldsymbol{\beta}$ を $r \times 1$ の未知のパラメータベクトル,$\mathbf{y}$ を $n \times 1$ の観測値ベクトルとすると,線形制約は以下のように表される.\[\mathbf{X}\boldsymbol{\beta} = \mathbf{y}\]
平均の制約は, $r = 1$ の場合に相当する.つまり,\[\frac{1}{n}\sum_{i=1}^n x_i = \mu\]これは $\mathbf{X} = \mathbf{1}$ （全ての要素が1のベクトル）,$\beta = \mu$ （平均）の場合に相当する.
回帰モデルは, $r > 1$ の場合に相当する.つまり,$\mathbf{X}$ を説明変数の行列, $\boldsymbol{\beta}$ を回帰係数ベクトルとして,\[y_i = \beta_0 + \beta_1x_{i1} + \beta_2x_{i2} + \cdots + \beta_{r-1}x_{i,r-1} + \epsilon_i\]
ベクトル $\mathbf{y}$ を $\mathbf{X}$ によって張られる $r$ 次元の部分空間[列空間]への射影することを考える.
射影は以下の最小化問題の解として定義できる.\[\min_{\boldsymbol{\beta}} \|\mathbf{y} - \mathbf{X}\boldsymbol{\beta}\|^2\]この最小化問題の解は,以下の正規方程式を解くことで得られる.\[\mathbf{X}^T\mathbf{X}\boldsymbol{\beta} = \mathbf{X}^T\mathbf{y}\]正規方程式を解くと,\[\boldsymbol{\beta} = (\mathbf{X}^T\mathbf{X})^{-1}\mathbf{X}^T\mathbf{y}\]すなわち,$\mathbf{y}$ の $\mathbf{X}$ の列空間への射影 $\hat{\mathbf{y}}$ は\[\hat{\mathbf{y}} = \mathbf{X}\boldsymbol{\beta} = \mathbf{X}(\mathbf{X}^T\mathbf{X})^{-1}\mathbf{X}^T\mathbf{y}\]上式から,射影行列 $\mathbf{P}_X$ は以下のようになる.\[\mathbf{P}_X = \mathbf{X}(\mathbf{X}^T\mathbf{X})^{-1}\mathbf{X}^T\]$\mathbf{P}_X$ は任意のベクトル $\mathbf{y}$ を $\mathbf{X}$ の列空間に直交射影するものである.また,$(\mathbf{I} - \mathbf{P}_X)$ は $\mathbf{X}$ の部分空間に直交する $(n-r)$ 次元の補空間[直交補空間]への射影を表している.
Mathematics is the language with which God has written the universe.