搜索 AI 资讯

b12207

在 ggml-cuda 的 SSM_SCAN 内核中，已为 d_state=64 添加了一条新的快速路径，通过消除该状态大小下的 CPU 回退，将 Zamba2-7B-Instruct 的生成吞吐量从 11 tok/s 提升至 15.1 tok/s——约提升 35%。该更改已使用真实的 Zamba2 超参数进行了验证，并保持了正确性；不过，由于一个尚未诊断的问题，仍有 28% 的 scan 调用会回退到 CPU。

vLLM 语义路由器发布 d3-ultra：一款 270 亿参数的开源多模态决策模型

vLLM 语义路由器发布了 d3-ultra，一款拥有 270 亿参数的开源多模态决策模型。它能够一次性读取文本、图像和视频，并为每个可能的答案返回概率，在该团队的 SR-Text 测试中取得了 87.2 分。原文“vLLM 语义路由器发布 d3-ultra：一款 270 亿参数的开源多模态决策模型”首发于 MarkTechPost。

清华与港中文联合开源AKV：面向LLM智能体的KV缓存工程服务系统

清华大学与香港中文大学研究人员于2026年10月26日开源AKV——一个基于SGLang构建、专为大语言模型（LLM）智能体设计的KV缓存工程服务器。该系统通过让智能体主动丢弃并重定位KV缓存（而非传统文本历史摘要），在4个智能体基准测试中平均降低推理成本27.7%，任务平均得分提升1.7分。代码采用Apache-2.0许可证，当前支持Qwen、GPT-OSS-120B和MiniMax-M2.7等模型。

推荐理由：该成果代表LLM智能体高效推理的新范式：区别于依赖文本截断或摘要的‘上下文工程’，AKV直接操作KV缓存状态，避免重复prefill，显著缓解长程交互中的KV压力；实测显示高并发下P95延迟从229.9秒降至30.6秒，具备明确工程价值与可复现性；信息源自MarkTechPost发布的权威技术报道，发布时间（2026-10-26T07:56:45Z）与当前时间一致，属最新公开进展。