DéjàVu

DéjàVuは,分散環境におけるLLMサービングが抱える3つの主要な課題,すなわちプロンプト処理とトークン生成の処理時間の差によって生じるパイプライン並列処理のバブル,GPUメモリの過剰な使用,そしてシステム障害発生時の長い復旧時間に対処するために設計された.

これらの課題を克服するため,DéjàVuはDéjàVuLibを活用し,いくつかの重要な技術を採用している.まず,プロンプト・トークン分離という手法を用いて,プロンプトの処理とトークン生成を別々の計算資源で行うことで,パイプラインの効率を向上させ,無駄な待ち時間を削減.次に,マイクロバッチスワッピングという技術により,GPUメモリの容量が限られている場合でも,より大きなバッチサイズで推論を実行できるように,KVキャッシュをGPUとCPUメモリの間で効率的に移動させる.さらに,状態レプリケーションのメカニズムを導入することで,システムに障害が発生した場合でも,KVキャッシュのリモートCPUメモリや永続ストレージへの複製を活用して,迅速に処理を復旧し,データ損失を防ぐ.

これらの革新的な技術によって,DéjàVuは既存の最先端のLLMサービングシステムと比較して最大で2倍のスループット向上を達成することが示されている.DéjàVuは,特にパイプライン並列処理の効率性を高め,フォールトトレランスを実現することにより,大規模なLLMをより実用的で信頼性の高いインフラストラクチャ上で提供することを目指すシステムであると言える.

参照

1. Strati, Foteini, Mcallister, Sara, Phanishayee, Amar, Tarnawski, Jakub, and Klimovic, Ana. "DéjàVu: KV-cache Streaming for Fast, Fault-tolerant Generative LLM Serving." Proceedings of the 41st International Conference on Machine Learning, PMLR 235:46745-46771, 2024.

Mathematics is the language with which God has written the universe.