RIFT提出动态KV缓存压缩策略缓解解码陈旧性问题，提升推测解码质量
2026年10月24日，arXiv发布论文arXiv:2610.31098v1，提出RIFT——一种面向推测解码中草稿模型（drafter）的动态KV缓存压缩方法，通过平衡预填充信息与新生成token，并结合可压缩性训练，在8K-token KV缓存预算下使Qwen3.5-4B草稿模型为Qwen3.5-122B执行长上下文生成时，保持超98%的全缓存接受长度。
推荐理由：该研究直面长输出生成中KV缓存膨胀导致的硬件成本与精度下降矛盾，首次明确定义并量化‘解码陈旧性’（decode staleness）现象，并提出可落地的刷新机制与训练协同方案；实验设定具体（32K输入/4K输出/8K缓存），结果具工程参考价值；来源为arXiv预印本，发布时间（2026-10-24）与系统当前日期（2026-10-25）一致，时效性强。