統計的学習の種類
教師あり学習[supervised learning]
教師あり学習[supervised learning]
入力変数の集合\[X^{T}=(X_{1},X_{2},\cdots,X_{p})\]が与えられているとき，1つ以上の出力変数の値\[Y=(Y_{1},Y_{2},\cdots,Y_{m})\]を予測する問題を教師あり
教師あり学習[supervised learning]といいます．
確率変数 $(X,Y)$ が同時確率 $P(X,Y)$ に従うとき，教師あり学習[supervised learning]は条件付確率 $P(Y|X)$ を推定する問題であるということができます．
教師なし学習[unsupervised learning]
教師なし学習[unsupervised learning]
$N$ 個の観測値，\[(x_{1},x_{2},\cdots,x_{N})\]が確率密度 $P(X)$ に従う $p$次元確率変数ベクトルである $X$ の$N$個の観測値であるとします．
このとき，確率密度 $P(X)$ の特性を直接推定する問題を教師なし学習[unsupervised learning]といいます．
教師なし学習は，観測データの分布の学習と呼ぶほうが適切だという見解もあります．この考え方の背景には，入力データと出力データを合わせて観測データとすると，出入力の同時分布を学習させることによって，教師なし学習は教師あり学習にも適用可能であるということがあります[1]．
[
1]Hugo Larochelle and Yoshua Bengio,Classification using discriminative restricted Boltzmann machines,In Proceedings of the 25th international conference on Machine learning,pp.536-543.ACM,2008.
Mathematics is the language with which God has written the universe.
