칭화대학교와 홍콩중문대학교의 연구팀은 2026년 10월 26일, SGLang 프레임워크를 기반으로 구축된 KV 캐시 엔지니어링 서버인 AKV를 오픈소스로 공개했습니다. 이는 대규모 언어 모델(LLM) 에이전트의 추론 효율을 최적화하는 데 특화되어 있습니다. 전통적인 텍스트 요약을 통한 과거 상태 압축 방식과 달리, AKV는 에이전트가 일부 KV 캐시 항목을 동적으로 선택해 제거하고, 남은 항목에 대해 위치 재매핑(Repos)을 수행할 수 있도록 합니다. 이 과정에서 원본 메시지 시퀀스는 전혀 수정되지 않으며, 남아 있는 텍스트를 다시 프리필할 필요도 없습니다.
GPT-OSS-120B, MiniMax-M2.7 및 MiroThinker-1.7-Mini 세 가지 모델과 BrowseComp-Plus, GAIA-Text, SWE-bench Verified, xbench-DeepSearch-2510 네 가지 지능형 에이전트 벤치마크에서 AKV는 평균 추론 비용을 27.7% 절감하고, 작업 평균 점수를 1.7점 향상시켰습니다. 그중 GPT-OSS-120B는 SWE-bench Verified 기준에서 단일 작업 비용이 20.0센트에서 9.7센트로 낮아졌으며, 점수는 40.0에서 43.2로 상승했습니다. 또한 고병렬(16) 환경에서 P95 요청 지연 시간은 표준 방식의 229.90초에서 30.63초로 대폭 단축되었고, 각 디코딩 단계별 전注意力 처리 소요 시간은 7.082밀리초에서 2.849밀리초로 감소했습니다.
AKV는 세 가지 핵심 캐시 작업을 정의한다: Append(추가), Drop(지정된 엔트리 제거) 및 Repos(RoPE 회전을 통해 키 위치를 재설정하되 값은 그대로 유지), 그리고 SGLang의 레디스 트리 구조를 확장하여 drop/reposition 노드를 지원하며, segment-batch attention 메커니즘과 결합해 필요에 따라 퇴출된 상태를 복구한다. 이의 API는 상태가 없는 OpenAI 호환 인터페이스로, drop_message와 reposition 필드를 통해 정책을 선언할 수 있으며, 내장된 차례/토큰/모델 기반 정책을 제공하고, CacheTool을 통해 모델이 자율적으로 drop_context를 호출하도록 한다.
주의할 점: 모든 성능 데이터는 논문의 Table 1 및 프로젝트 페이지에 공개된 실험 결과를 기반으로 하며, 비용은 API 기준으로 추정한 값입니다(전체 API 비용 중 KV 읽기가 82.4%를 차지함). 현재는 Qwen, GPT-OSS 및 MiniMax-M2 계열 텍스트 모델만 정식 지원됩니다. 다른 KV 최적화 방안(예: StreamingLLM, SnapKV 등)과 비교했을 때, AKV는 다중 라운드 도구 호출 기반 지능형 에이전트 워크로드에 초점을 맞추고 있으며, 미세조정에 의존하지 않으며 시각 또는 다중모달 모델에도 적합하다고 주장하지 않습니다.