インコンテキスト学習
定義：
インコンテキスト学習[In-context learning;ICL]とは,モデルの重みを更新せずに,プロンプト内で例示を通じて学習を行う学習手法.
入力テキストの中に,タスクの例[入力と期待される出力のペア]を含め,それを参考として,モデルは新しい入力に対して適切な出力を生成する.各インスタンスの予測が局所的な類似インスタンスとそのラベル[これをフューショット例＜few-shot examples＞という]に基づくk-NNに類似する.
この手法は特にGPT-3以降の大規模言語モデルで注目されており,従来の転移学習やファインチューニングを必要としない新しい学習パラダイムとされる.勾配に基づく最適化と注意に基づくインコンテキスト学習は等価であることが示されている.
Few-shot learningの一形態とも言われる.
参考文献
- Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, et al.Language Models are Few-Shot Learners.URL arXiv:2005.14165
- Johannes von Oswald, Eyvind Niklasson, Ettore Randazzo, João Sacramento, Alexander Mordvintsev, Andrey Zhmoginov, Max Vladymyrov（15 Dec 2022）.Transformers learn in-context by gradient descent.URL arXiv:2212.07677v2
- Andrew Parry, Debasis Ganguly, Manish Chandra（2 May 2024）."In-Context Learning" or: How I learned to stop worrying and love "Applied Information Retrieval".URL arXiv:2405.01116v1<
Mathematics is the language with which God has written the universe.
