summary:
主に,トランスフォーマーアーキテクチャにおいて使用され,モデルが順序情報を認識できるようにするために不可欠な要素である.
トランスフォーマーモデルは並列処理によって計算効率を高めているが,この並列処理によって単語やトークンの順序情報が失われてしまう.RNNやLSTMは順次処理を行うため自然と位置情報が保持されるのに対し,トランスフォーマーでは位置埋め込みを明示的に追加することで,並列計算の効率性を維持しながらもシーケンスの順序情報を考慮可能にしている.
位置埋め込みには大きく分けて2つの種類がある.一つ目は絶対位置埋め込みで,これはシーケンス内の各要素の絶対位置をエンコードする手法である.絶対位置埋め込みの代表的な実装として,元のトランスフォーマー論文で提案された正弦波位置埋め込みがあり,これは異なる周波数の正弦波と余弦波を使用して位置情報を表現する.
また別のアプローチとして,モデルの訓練中に最適化される学習可能な位置埋め込み行列を使用する方法もある.
2つ目は相対位置埋め込みで,こちらは要素間の相対的な距離をエンコードする手法である.相対位置埋め込みの例として,Transformer-XLやT5などのモデルで採用されている相対的自己注意機構があり,これによって要素間の相対的な位置関係を直接モデル化している.
Mathematics is the language with which God has written the universe.