RIFT는 동적 KV 캐시 압축 전략을 제안하여 디코딩의 구식화 문제를 완화하고, 추론 디코딩의 품질을 향상시킨다.
2026년 10월 24일, arXiv는 논문 arXiv:2610.31098v1을 발표하여 RIFT—추론 디코딩에서 초안 모델(drafter)을 위한 동적 KV 캐시 압축 방법—을 제안했습니다. 이 방법은 사전 채워진 정보와 새로 생성된 토큰 간의 균형을 맞추고, 압축 가능성을 고려한 학습을 결합함으로써, 8K토큰의 KV 캐시 예산 하에서 Qwen3.5-4B 초안 모델이 Qwen3.5-122B로 장문맥 생성을 수행할 때 전체 캐시 수용 길이의 98% 이상을 유지하도록 합니다.
추천 이유：이 연구는 긴 출력 생성 시 KV 캐시의 팽창으로 인한 하드웨어 비용 증가와 정확도 저하 간의 상충 문제에 대해 직접적으로 접근하며, ‘디코딩 노후화’(decode staleness) 현상을 최초로 명확히 정의하고 정량화한 뒤, 실현 가능한 리프레시 메커니즘과 학습 협업 방안을 제안합니다. 실험 설정은 구체적(입력 32K/출력 4K/캐시 8K)이며, 결과는 엔지니어링 차원에서의 참고 가치를 지닙니다. 출처는 arXiv 사전인쇄본으로, 게시일(2026-10-24)이 시스템의 현재 날짜(2026-10-25)와 일치하여 시의성이 강합니다.