FlatCake：一种用于大语言模型推理的扁平化KV缓存存储架构
arXiv:2610.38355v1 发布类型：新摘要：KV缓存复用能够加速大语言模型的推理，但现有系统将主机DRAM和NVMe SSD视为分层结构，其中DRAM充当中间缓存。然而，实际的大语言模型工作负载打破了这一分层结构的两个前提。首先，双模态复用使DRAM的时间过滤失效，因为工作负载要么由具有较长复用距离的一次性块主导，要么由超过DRAM容量的数GB级智能体会话主导，从而将SSD置于关键的读取路径上。其次，DRAM的暂存与按驱逐顺序布局导致SSD恢复出现瓶颈。为在途前缀保留主机暂存缓冲区会在负载下引发争用，进而中止预取操作；而增量式驱逐则会将会话的块分散到整个SSD上，阻碍大规模顺序读取。我们 p
