LISA
定義：
LISA[Layerwise Importance Sampled AdamW]とは,与えられた確率に基づいてランダムにLLMの層をサンプリングし,選択された層のみを更新する最適化アルゴリズム.
LISAは,2024年3月にRui Pan, Xiang Liu, Shizhe Diao, Renjie Pi, Jipeng Zhang, Chi Han, Tong Zhangによって提案された.MT-Benchのスコアにおいて,LISAは一貫してLoRAを11%～37%以上上回るとしている.LoRA[Low-Rank Adaptation]よりもメモリ使用量,計算量とも効率的に計算できるとされる.
- Rui Pan, Xiang Liu, Shizhe Diao, Renjie Pi, Jipeng Zhang, Chi Han, Tong Zhang: LISA: Layerwise Importance Sampling for Memory-Efficient Large Language Model Fine-Tuning, arXiv.org, arXiv:2403.17919v2 [cs.LG] , Thu, 28 Mar 2024 15:44:39 UTC.
Mathematics is the language with which God has written the universe.
