RIFTは、動的なKVキャッシュ圧縮戦略を提案し、デコードの古さによる問題を緩和して、推測デコードの品質を向上させます。
2026年10月24日、arXivは論文arXiv:2610.31098v1を公開し、RIFT——推測デコードにおけるドラフトモデル（drafter）向けの動的KVキャッシュ圧縮手法——を提案しました。この手法は、事前埋め込み情報と新規生成トークンのバランスを取るとともに、圧縮可能性を考慮した訓練を組み合わせることで、8KトークンのKVキャッシュ予算のもと、Qwen3.5-4BのドラフトモデルがQwen3.5-122Bに対して長文コンテキスト生成を実行する際に、全キャッシュの受け入れ可能な長さを98％超に維持することを可能にします。
注目する理由：本研究は、長文出力生成においてKVキャッシュの膨張がもたらすハードウェアコストの増大と精度低下という矛盾に正面から取り組み、『デコードの陳腐化』（decode staleness）現象を初めて明確に定義・定量化するとともに、実装可能な更新メカニズムと学習との協調手法を提案している。実験条件は具体的で（入力32K／出力4K／キャッシュ8K）、得られた結果は工学的な参考価値が高い。出典はarXivのプレプリントであり、公開日時（2026年10月24日）はシステムの現在日付（2026年10月25日）と一致しており、高いタイムリー性を有している。