誤差逆伝播による表現の学習

深層学習[deep learning]を生み出すこととなった,David E. Rumelhart, Geoffrey E. Hinton, Ronald J. Williamsによる1986年10月9日の論文.

Learning representations by back-propagating errors

ロジスティック回帰とほぼ等価であるパーセプトロンミンスキー[Marvin Lee Minsky, 1927-08-09/2016-01-24]により線形分類不可能問題を解けないとの批判を受ける.

これに対して,中間層[隠れ層]を1つ加えて線形分類不可能問題も解ける3層ニューラルネットワークを提示し,そのパラメータ推定のための誤差逆伝播学習則[Backpropagation]を示した.

“Learning representations by back-propagating errors” . Nature 323 (6088): 533–536.doi:10.1038/323533a0

なお,誤差逆伝播学習則[Backpropagation]に相当する連鎖律勾配法を組み合わせたアルゴリズムは,ヒントンら以前にも提示されていた.


INDEX