清华大学与香港中文大学研究团队于2026年10月26日开源AKV——一个基于SGLang框架构建的KV缓存工程服务器，专用于优化大语言模型（LLM）智能体的推理效率。与传统通过文本摘要压缩历史的方法不同，AKV允许智能体动态选择丢弃部分KV缓存条目，并对保留条目进行位置重映射（Repos），全程不修改原始消息序列，也无需对剩余文本重新prefill。
在GPT-OSS-120B、MiniMax-M2.7和MiroThinker-1.7-Mini三类模型及BrowseComp-Plus、GAIA-Text、SWE-bench Verified和xbench-DeepSearch-2510四大智能体基准上，AKV实现平均推理成本下降27.7%，任务平均得分提升1.7分。其中，GPT-OSS-120B在SWE-bench Verified上的单任务成本由20.0美分降至9.7美分，得分由40.0升至43.2；在高并发（16）场景下，P95请求延迟从标准方法的229.90秒大幅压缩至30.63秒，每解码步全注意力耗时由7.082毫秒降至2.849毫秒。
AKV定义三种核心缓存操作：Append（新增）、Drop（丢弃指定条目）和Repos（使用RoPE旋转重置键位置，值保持不变），并通过扩展SGLang的radix树结构支持drop/reposition节点，结合segment-batch attention机制按需恢复被驱逐状态。其API为无状态、OpenAI兼容接口，支持通过drop_message和reposition字段声明策略，内置轮次/令牌/模型驱动策略，并提供CacheTool使模型自主调用drop_context。
需注意：所有性能数据均基于论文Table 1及项目页面公布的实验结果，成本为API等效估算（KV读取占总API成本82.4%），且当前仅正式支持Qwen、GPT-OSS和MiniMax-M2系列文本模型；对比其他KV优化方案（如StreamingLLM、SnapKV等），AKV聚焦多轮工具调用型智能体工作负载，不依赖微调，亦未声称适配视觉或多模态模型。