2026年10月24日，一篇题为《RIFT: KV Cache Compression for Draft Models with Complementary Compressibility Training》的论文在arXiv平台发布（编号arXiv:2610.31098v1），提出RIFT——一种针对推测解码（speculative decoding）中草稿模型的新型KV缓存压缩框架。
论文指出，传统基于预填充（prefill）信息的KV缓存选择方法在长输出生成过程中易出现‘解码陈旧性’：即随着生成token增多，早期缓存项相关性下降，导致草稿模型准确率降低。RIFT通过在token生成过程中动态刷新KV缓存选择，兼顾预填充信息与最新生成内容，显著提升草稿质量，但带来额外解码延迟；为此，作者进一步设计自适应刷新策略以减少评分计算开销。
此外，该工作引入‘可压缩性驱动的草稿模型训练’阶段，利用稀疏注意力掩码优化模型对压缩后KV缓存的适应能力。在Qwen3.5-4B作为草稿模型、Qwen3.5-122B作为目标模型的评估中，RIFT配合该训练方法，在32K-token输入、4K-token输出、仅8K-token KV缓存预算的严苛条件下，仍能维持超过98%的全缓存接受长度。
需注意：该成果目前为arXiv预印本，尚未经过同行评议；所有实验结果均基于论文所述设定，未提及其他模型或硬件平台的泛化表现；文中未披露推理延迟绝对值、显存节省比例等工程指标，亦未说明RIFT对验证器（verifier）模型的影响。