要旨：KVキャッシュの再利用は大規模言語モデル（LLM）のサービスを高速化するが、既存のシステムではホストのDRAMとNVMe SSDを階層的なヒエラルキーとして管理しており、DRAMが中間キャッシュとして機能している。しかし、実運用におけるLLMワークロードは、この階層構造の二つの前提をいずれも破っている。第一に、バイモーダルな再利用によりDRAMによる時間的フィルタリングが無効化される。というのも、ワークロードは再利用距離が長いワンショットブロックか、DRAM容量を超える数ギガバイト規模のエージェントセッションのいずれかで支配されており、その結果SSDが重要な読み取りパスに位置することになる。第二に、DRAMによるステージングと排出順序に基づくレイアウトがSSDの復元処理をボトルネックにしている。進行中のプレフィックス用にホスト側のステージングバッファを保持すると、負荷下で競合が発生してプリフェッチが中断され、一方で段階的な排出によってセッション内のブロックがSSD全体に散在し、大規模なシーケンシャルリードが妨げられる。
我々は、ホストのDRAMとNVMe SSDを統一された64ビットアドレス空間内のピアメディアとして公開するフラットKVストレージアーキテクチャであるFlatCakeを提案する。KVブロックが一度書き込みのみで不変であり、セッションスコープで再利用されることを利用し、FlatCakeは作成時に各ブロックをターゲットメディア上にセッション連続かつレイヤー優先順序で直接配置し、その後一切移動させない。FlatCakeは、GPUDirect Storageを介して凝集したSSD読み取りをバウンド付きのGPUウィンドウへ直接ストリーミングし、DRAMとSSDの要求キューを分離することでヘッドオブラインブロッキングを防止する。DeepSeek-V4-Flashを用いた実運用におけるClaude Codeトレースにおいて、FlatCakeは負荷増加時にもキャッシュヒット率94%を維持し（Mooncakeでは64%）、MooncakeのSSD読み取り増幅を6.5倍～6.7倍削減するとともに、ピーク負荷時の平均TTFTを1.6倍短縮し、総トークンスループットを1.6倍向上させる。Llama-3.1-70B上で8K～128Kのコンテキストに対し、FlatCakeはさらにMooncake比で平均TTFTを最大2.4倍、Mooncake-GDS比で1.8倍短縮する。
コメント：| 図10枚 主題：| 分散・並列・クラスタコンピューティング（cs.DC）；オペレーティングシステム（cs.OS） 引用形式：| arXiv:2610.38355 [cs.DC] | （または
arXiv:2610.38355v1 [cs.DC] このバージョン） | https://doi.org/10.48550/arXiv.2610.38355
詳しく学ぶためにフォーカス
DataCite経由のarXiv発行DOI（登録待ち）
投稿履歴
論文へのアクセス：
PDFを表示
HTML（実験的）
TeXソース
追加機能
音声要約
現在の閲覧コンテキスト：
参考文献・引用
Google Scholar
Semantic Scholar
ブックマーク
機関
arXivLabsは、共同作業者が当社のウェブサイト上で新しいarXiv機能を直接開発・共有できるフレームワークです。
arXivLabsを利用する個人および組織は、オープン性、コミュニティ、卓越性、そしてユーザーデータのプライバシーという当社の価値観を積極的に受け入れ、尊重しています。arXivはこれらの価値観に固くコミットしており、それらを遵守するパートナーのみと協力しています。
arXivのコミュニティに価値をもたらすプロジェクトのアイデアをお持ちですか？arXivLabsについて詳しくご覧ください。