Attention Is All You Need

アテンション[Attention]を用いたエンコーダー・デコーダ形式のRNN[Recurrent Neural Network,回帰型ニューラルネットワーク]やCNN[Convolutional neural network,畳み込みニューラルネットワーク]が主流だった中で,RNNやCNNを用いずにアテンション[Attention]のみを用いたモデルとしてトランスフォーマー[Transformer]を提示した.