マトリョーシカ特徴表現学習
定義：
大規模言語モデル[LLM]によって生成されたそれぞれの埋め込み[embeddings]に対して固定的な表現を用いる.すなわち,下流のタスクやそれに関連する計算環境,制約に関係なく,特徴表現のサイズや能力は固定される.
これに対して,リソース制約のある環境においては,特徴表現の上位数点の座標のみを使用し,精度が要求される環境においては,より多くの座標が使用可能となるように展開環境に応じて特徴表現を適応させる柔軟性を導入したものがマトリョーシカ特徴表現学習である.
マトリョーシカ特徴表現学習は,Matryoshka Representation Learningの頭文字をとって MRL と呼ばれる.
MRLによって,独立に学習された低次元表現と同等以上の精度を保つことが可能となり,例えば画像分類においてはデータのサイズを大幅に小さくしながら精度を保つことができる.
- Aditya Kusupati, Gantavya Bhatt, Aniket Rege, Matthew Wallingford, Aditya Sinha, Vivek Ramanujan, William Howard-Snyder, Kaifeng Chen, Sham Kakade, Prateek Jain, Ali Farhadi: Matryoshka Representation Learning, arXiv.org, arXiv:2205.13147v4 [cs.LG] , Thu, 28 Mar 2024 15:44:39 UTC.
Mathematics is the language with which God has written the universe.
