直交関数系[orthogonal functions system]
区間 $[a,b]$ において，任意の関数 $f(x)$ を $n$ 個の関数\[{\phi_{i}(x)}\]の線形結合によって，\[f(x) \simeq c_{1}\phi_{1}(x)+c_{2}\phi_{2}(x)+c_{3}\phi_{3}(x)+\cdots+c_{n}\phi_{n}(x)\]と近似することを考えます．
最小二乗法を考えると，\[J=\frac{1}{2}\int_{a}^{b}(f(x)-\sum_{k=1}^{n}c_{k}\phi_{k}(x))^{2} \to min\]すると，\[\begin{eqnarray} \frac{\partial J}{\partial c_{i}}&=&-\int_{a}^{b}(f(x)-\sum_{k=1}^{n}c_{k}\phi_{k}(x))\phi_{i}dx\\&=&\sum_{k=1}^{n}c_{k}\int_{a}^{b}\phi_{k}(x)\phi_{i}(x)dx-\int_{a}{b}f(x)\phi_{i}(x)dx\\&=&0 \end{eqnarray}\]これを行列で書くと，\[\left(\begin{array}{cccc}\int_{a}^{b}\phi_{1}(x)^{2}dx & \int_{a}^{b}\phi_{1}(x)\phi_{2}(x)dx & \ldots & \int_{a}^{b}\phi_{1}(x)\phi_{n}(x)dx\\ \int_{a}^{b}\phi_{2}(x)\phi_{1}dx & \int_{a}^{b}\phi_{2}(x)^{2}(x)dx & \ldots & \int_{a}^{b}\phi_{2}(x)\phi_{n}(x)dx\\\vdots & \vdots & \ddots & \vdots \\ \int_{a}^{b}\phi_{n}(x)\phi_{1}dx & \int_{a}^{b}\phi_{n}(x)^{2}(x)dx & \ldots & \int_{a}^{b}\phi_{n}(x)^{2}(x)dx \end{array}\right)\left(\begin{array}{c}c_{1}\\c_{2}\\ \vdots \\c_{n} \end{array}\right)=\left(\begin{array}{c} \int_{a}^{b}\phi_{1}(x)f(x)dx \\ \int_{a}^{b}\phi_{2}(x)f(x)dx \\ \vdots \\ \int_{a}^{b}\phi_{n}(x)f(x)dx \end{array}\right) \]という正規方程式を得ることができます．
ここで，$n$ 個の関数\[{\phi_{i}(x)}\]が\[\int_{a}^{b}\phi_{i}(x)\phi_{j}(x)dx=0,i \neq j\]を満たすとき，すなわち，直交関数系であるとき，上の正規方程式は，\[\left(\begin{array}{cccc}\int_{a}^{b}\phi_{1}(x)^{2}dx & & & \\ & \int_{a}^{b}\phi_{2}(x)^{2}(x)dx & & \\ \vdots & \vdots & \ddots & \vdots \\ & & & \int_{a}^{b}\phi_{n}(x)^{2}(x)dx \end{array}\right)\left(\begin{array}{c}c_{1}\\c_{2}\\ \vdots \\c_{n} \end{array}\right)=\left(\begin{array}{c} \int_{a}^{b}\phi_{1}(x)f(x)dx \\ \int_{a}^{b}\phi_{2}(x)f(x)dx \\ \vdots \\ \int_{a}^{b}\phi_{n}(x)f(x)dx \end{array}\right) \]となります．
つまり，\[c_{i}\int_{a}^{b}\phi_{i}(x)^{2}dx=\int_{a}^{b}\phi_{i}f(x)dx,i=1,\cdots,n\]となることから，\[c_{i}=\frac{\int_{a}^{b}\phi_{i}f(x)dx}{\int_{a}^{b}\phi_{i}(x)^{2}dx}\]が得られます．
この関数 $f(x)$ が画像や音声，大量の数値データだとした場合，このようなデータを保存したり伝送したりする場合に係数である $c_{i}$ のみを保存したり伝送すればよいということになります．
Mathematics is the language with which God has written the universe.