摘要：KV 缓存复用能够加速大语言模型的推理服务，但现有系统将主机 DRAM 和 NVMe SSD 按照分层架构进行管理，其中 DRAM 充当中间缓存。然而，实际生产环境中的大语言模型工作负载打破了这一分层架构的两大前提。首先，双模态复用使 DRAM 的时间局部性过滤失效，因为这些工作负载要么以单次执行且重用距离较长的块为主，要么以超过 DRAM 容量的数 GB 级智能体会话为主，从而将 SSD 置于关键的读取路径上。其次，DRAM 的暂存与基于逐出顺序的布局导致 SSD 的恢复效率受到瓶颈制约。为在途前缀保留主机暂存缓冲区会在负载下引发竞争，进而中止预取操作；而增量式逐出则会将一个会话的块分散存储于 SSD 各处，阻碍大规模的顺序读取。
我们提出了 FlatCake，这是一种扁平的 KV 存储架构，它将主机 DRAM 和 NVMe SSD 以对等介质的形式暴露在统一的 64 位地址空间中。利用 KV 块仅写入一次、不可变且在会话范围内重复使用的特性，FlatCake 在创建时便按会话连续、层优先的顺序将每个块直接放置到其目标介质上，并且从不进行迁移。FlatCake 通过 GPUDirect Storage 将合并后的 SSD 读取直接流式传输至受限的 GPU 窗口，并解耦 DRAM 和 SSD 的请求队列，以避免队头阻塞。在使用 DeepSeek-V4-Flash 的 Claude Code 生产级跟踪数据上，随着负载增加，FlatCake 能够维持 94% 的缓存命中率（而 Mooncake 仅为 64%），消除了 Mooncake 高达 6.5 至 6.7 倍的 SSD 读取放大效应，并使峰值负载下的平均 TTFT 缩短了 1.6 倍，同时将总令牌吞吐量提升了 1.6 倍。在 Llama-3.1-70B 上，针对 8K 至 128K 的上下文规模，FlatCake 进一步将平均 TTFT 比 Mooncake 最多缩短了 2.4 倍，比 Mooncake-GDS 缩短了 1.8 倍。
评论：| 10 幅图表 主题：| 分布式、并行与集群计算（cs.DC）；操作系统（cs.OS） 引用格式：| arXiv:2610.38355 [cs.DC] | （或
arXiv:2610.38355v1 [cs.DC] 适用于此版本） | https://doi.org/10.48550/arXiv.2610.38355
点击了解更多信息
通过DataCite发布的arXiv DOI（待注册）
提交历史
访问论文：
查看PDF
HTML（实验性）
TeX源代码
附加功能
音频摘要
当前浏览上下文：
参考文献与引用
Google 学术搜索
Semantic Scholar
书签
机构
arXivLabs 是一个框架，允许合作者直接在我们的网站上开发并共享新的 arXiv 功能。
无论是个人还是与 arXivLabs 合作的组织，都已认同并践行我们所倡导的开放、社区、卓越以及用户数据隐私等价值观。arXiv 致力于这些价值理念，并且只与同样秉持这些理念的合作伙伴开展合作。
您是否有一个能为 arXiv 社区创造价值的项目构想？欢迎了解更多关于 arXivLabs 的信息。