vLLM 语义路由器发布 d3-ultra：一款 270 亿参数的开源多模态决策模型
vLLM 语义路由器发布了 d3-ultra，一款拥有 270 亿参数的开源多模态决策模型。它能够一次性读取文本、图像和视频，并为每个可能的答案返回概率，在该团队的 SR-Text 测试中取得了 87.2 分。原文“vLLM 语义路由器发布 d3-ultra：一款 270 亿参数的开源多模态决策模型”首发于 MarkTechPost。
AI NEWS JOURNAL
全部 AI 动态
保留完整资讯流，用来源、主题和时间找到你关心的消息。
京东广告联合华为鲲鹏降低生成式广告推理时延15%，618大促完成核心场景验证
京东广告与华为鲲鹏合作，通过灵衢互联构建300TB共享内存池、重构RPC通信，实现端到端推理时延降低15%，KV Cache与RPC性能显著提升，并经2026年618大促核心场景5%流量验证；合作正向搜索、推荐等搜推场景外溢，并布局SuperCache、Agent沙箱等Agentic AI前沿方向。
推荐理由：该报道源自钛媒体（tmtpost.com）于2026-10-26发布的原创技术新闻，内容聚焦真实落地的技术协同：明确披露合作主体（京东广告/华为鲲鹏）、技术路径（灵衢互联、两级缓存、UB协议直连URMA）、量化成效（时延降15%、TP99优化超85%）、验证场景（618大促5%流量）及演进规划（SuperCache、Agent沙箱），所有关键事实均在材料中可交叉印证，无外部信息补充或主观推断。
清华与港中文联合开源AKV：面向LLM智能体的KV缓存工程服务系统
清华大学与香港中文大学研究人员于2026年10月26日开源AKV——一个基于SGLang构建、专为大语言模型（LLM）智能体设计的KV缓存工程服务器。该系统通过让智能体主动丢弃并重定位KV缓存（而非传统文本历史摘要），在4个智能体基准测试中平均降低推理成本27.7%，任务平均得分提升1.7分。代码采用Apache-2.0许可证，当前支持Qwen、GPT-OSS-120B和MiniMax-M2.7等模型。
推荐理由：该成果代表LLM智能体高效推理的新范式：区别于依赖文本截断或摘要的‘上下文工程’，AKV直接操作KV缓存状态，避免重复prefill，显著缓解长程交互中的KV压力；实测显示高并发下P95延迟从229.9秒降至30.6秒，具备明确工程价值与可复现性；信息源自MarkTechPost发布的权威技术报道，发布时间（2026-10-26T07:56:45Z）与当前时间一致，属最新公开进展。
llama.cpp 发布 b11871 版本：新增 JSON 嵌套深度限制以防止服务崩溃
llama.cpp 在 b11871 版本中引入关键安全修复，对请求中 JSON 嵌套层级实施 128 层硬性限制，避免因深度递归解析导致 HTTP 线程栈溢出、服务崩溃（macOS 触发 SIGBUS，Linux 触发 SIGSEGV）。该策略覆盖 chat 接口多类输入场景，并统一返回 HTTP 400 错误。
推荐理由：按信源设置仅收录，不参与自动精选
Underdog Saluki 27B：基于GSQ-RCO的2比特Qwen3.8-27B工具调用模型技术解析
本文介绍Underdog发布的Saluki 27B模型——一款7.9 GB的2比特量化Qwen3.8-27B变体，采用ISTA-DASLab的GSQ-RCO方法构建，声称在120任务BFCL v4工具调用基准上超越原54 GB全精度模型；但所有性能结论均来自其开发者声明，未获独立验证。
llama.cpp 发布 b11870 版本，正式支持 DeepSeek-V4.1-Flash 模型
llama.cpp 在版本 b11870 中新增对 DeepSeek-V4.1-Flash（deepseek41）模型的支持，并针对其 Engram 架构进行多项底层优化，包括 KV 缓存计算简化、BF16 精度替代 MXFP8、in-graph 行 gather 等；同步提供覆盖 macOS、Linux、Windows、Android、iOS 及 openEuler 的多平台二进制构建。
推荐理由：按信源设置仅收录，不参与自动精选
llama.cpp 发布 b11869 版本：修复 Jinja 模板函数参数处理，新增多平台二进制支持
llama.cpp 项目发布构建版本 b11869，主要修复 Jinja 模板中 select 和 selectattr 函数的参数解析逻辑，并提供覆盖 macOS、Linux、Windows、Android、iOS 及 openEuler 的数十种硬件与后端组合的预编译二进制包。
推荐理由：按信源设置仅收录，不参与自动精选
llama.cpp 发布 b11868 版本：增强 Hexagon NPU 多核 Flash Attention 支持，覆盖全平台编译构建
llama.cpp v2.45.0（标签 b11868）正式发布，核心更新为 Hexagon 后端引入 KV-head 团队拆分机制以优化多核 HMX Flash Attention 性能，并统一 FA 拆分控制标志；同步提供 macOS、Linux、Windows、Android、iOS 及 openEuler 等全平台二进制包，含 CUDA 12/13、Vulkan、ROCm、OpenVINO、SYCL、Snapdragon（Adreno+Hexagon）等多后端支持。
推荐理由：按信源设置仅收录，不参与自动精选
llama.cpp 发布 b11867 版本：服务端入口重构，全面支持多平台与异构加速后端
llama.cpp 于 GitHub 正式发布 b11867 版本，核心变更包括服务端（server）入口点重构（PR #31113），新增 server_role 机制；同时提供覆盖 macOS、Linux、Windows、Android、iOS 及 openEuler 的 40+ 预编译二进制包，支持 CPU、CUDA（12.4/12.8/13.4）、Vulkan、ROCm 10.0、OpenVINO、SYCL（FP16/FP32）、Snapdragon（Adreno+Hexagon）等多元硬件后端。
推荐理由：按信源设置仅收录，不参与自动精选
llama.cpp 发布 b11866 版本：移除 Metal 后端冗余 AMAX 缩放逻辑，精简 MoE 计算路径
llama.cpp v.b11866 移除了 Metal 后端中已过时的 src1 power-of-two AMAX 缩放机制，转而依赖计算图内更精细的 per expert-token amax 缩放，确保 MoE 下投影激活值在 f16 表示范围内；同步删除相关两阶段归约核、F32 精度调度及越界测试用例。
推荐理由：按信源设置仅收录，不参与自动精选
llama.cpp 发布 b11865 版本：新增 RDMA 接收边界检查，支持 CUDA 13.4、ROCm 10.0、Snapdragon NPU 等多平台后端
llama.cpp 项目发布构建版本 b11865，核心变更包括在 RDMA 接收逻辑中增加内存边界检查（PR #30399），并显著扩展硬件加速支持，覆盖 CUDA 13.4、ROCm 10.0、Vulkan、OpenVINO、SYCL 及高通 Snapdragon（CPU+Adreno+Hexagon）全栈异构计算后端；macOS KleidiAI 支持与 openEuler 构建被明确标记为 DISABLED。
推荐理由：按信源设置仅收录，不参与自动精选
llama.cpp 发布 b11861 版本：修复 minimax-m3 模型量化缩放张量未传递导致的推理异常
llama.cpp v.b11861 修复了 minimax-m3 模型在 NVFP4/MXFP8 量化下因 scale 张量未注入计算图而导致的权重失真问题，避免‘token soup’与残差淹没；同步提供覆盖 macOS、Linux、Windows、Android、iOS 及 openEuler 的多平台二进制构建。
推荐理由：按信源设置仅收录，不参与自动精选
AnyLanguageModel 1.0发布：支持本地与托管模型的统一Swift接口，适配Apple平台全系OS 27
Hugging Face正式发布AnyLanguageModel 1.0，提供与Apple Foundation Models API完全兼容的开源Swift框架，支持本地（MLX、llama.cpp、Core ML）及托管（OpenAI、Anthropic、Gemini、Hugging Face Inference Providers等）模型无缝切换，并新增图像输入、工具调用、引导式生成、推理块自动适配等特性。
变形器现在运行 lama.cpp quants
变形器现在运行 lama.cpp quants
量子化- Aware 治疗: 一个压缩的4位模型,它超越了它的完全精度原创
量子化- Aware 治疗: 一个压缩的4位模型,它超越了它的完全精度原创
本地速度 vLLM 变压器, 模拟后端
本地速度 vLLM 变压器, 模拟后端
在 One 命令中运行 HF 任务上的 vLLM 服务器
在 One 命令中运行 HF 任务上的 vLLM 服务器