vLLM语义路由团队发布了d3-ultra,这是一款基于Apache-2.0许可证的27B参数多模态决策模型。d3-ultra决策模型不生成文本,它只需对输入进行一次读取,即可为每个问题的每个答案返回相应的概率值。对于开发者而言,这意味着只需通过一次权重开放的调用,就能实现路由、分类、视觉定位以及视频检测等功能。
简而言之
大小:26.09B个参数(稠密模型,包括一个0.46B的视觉编码器);每道题的上下文长度为131,072个标记。
运行环境:已在配备 BF16 权重的 1 块 AMD Instinct MI325X 上进行测试;目前尚未列出官方的量化版本。
性能:在团队自有私有测试中,6个决策模型中的SR-Text得分最高。
最佳:在SR-Text工具与自动化方面得分为97.8(校正后的准确率)。
最差:在SR-Box上为54.6%(9个域名),比其姊妹产品d3-turbo低5.0分。
d3-ultra是什么?
d3-ultra 是 vLLM 语义路由器推出的一款 System One 决策模型,能够以概率形式回答用户输入的问题。它是 Decision 3.0 系列的最新成员,该系列的参数规模覆盖从 0.6B 到 27B 不等。
您发送一个状态(文本或 JSON,以及图片或视频)和一组问题。每个问题都有一个类型:
选择:从多个选项中选择1个。
是/否:返回为“是”的概率。
评分:按比例进行评分。
Box:在图像或视频片段中定位某物。
跟踪:在整个视频中跟踪目标。
图片也可以嵌入到题目和选项中。一个测验可以先展示一张照片,然后提供4幅版画作为答案选项。
d3-ultra 是如何工作的?
核心思想是一次性状态。该模型在每次请求时仅读取一次输入,并基于这唯一的一次读取来回答所有问题。
配置显示使用的是Qwen3.5架构的主干网络,共64层,其中48层为线性注意力层,16层为全注意力层。该卡并未标明其基础检查点。vLLM的文档指出,其姊妹模型d3是从Qwen3.8-27B训练而来的。
Box答案始终仅返回一个置信度为1的框。置信度接近0表示目标不在图像中。超过131,072个token的问题会因max_length_exceeded而失败,且不会被静默截断。
d3-ultra 在基准测试中的表现如何?
研究团队在两项内部测试中,将 d3-ultra 与 GLiDE V1.2、d1-ultra、d3-turbo、d3 以及 Jev 1.14 进行了对比。
SR-Text 拥有 10,411 条文本请求,包含 73,495 个问题。其中大部分是在 34 个公开基准上重新构建的技能,并加入了新项目。另有 4,896 个问题来自 43 个新的任务类别,例如 SQL 检查和工单路由。得分已进行随机性校正:0 分为随机水平,100 分为完美。
d3-ultra:87.2
GLiDE V1.2:85.1
d1-ultra:83.4
d3-turbo:83.1
d3:81.4
杰夫 1.14:73.1
d3-ultra在除艺术与人文品味之外的各个领域均位居榜首。在该领域,d1-ultra的得分为90.8,而d3-ultra为89.6,两者相差在误差范围内。
SR-Box 在10个领域内,针对4,984张图像提出了5,678个目标检测问题。当交并比(IoU)达到0.5或以上时,该目标被视为正确。d3-ultra 在10个领域上的得分为58.2%,在9个领域上的得分为54.6%;d3-turbo 的相应得分分别为60.0%和59.6%;Jev 1.14 的得分则为45.7%和46.9%。研究团队表示,d3-turbo 在自然场景图像上表现更为稳健,而 d3-ultra 则在图表类图像上更具优势。
延迟:在配备 AutoModel 的 1 块 AMD Instinct MI325X 上,针对一张照片的 1 个问题耗时 304 毫秒。255 个问题共耗时 2.16 秒,平均每增加一个问题约需 7.3 毫秒。
如何部署 d3-ultra?
共有4条路线:
Transformers:AutoModel.from_pretrained("vllm-sr/d3-ultra", trust_remote_code=True),使用 transformers==5.17.0。可选的 flash-linear-attention 软件包会添加高效的 GPU 算子。
vLLM 语义路由引擎:vllm-sr serve -e vllm-sr/d3-ultra,已于2026年10月25日的PR #5449中添加。
免费API:卡片上显示,decision.vllm-sr.ai 服务于 d3-ultra,并提供免费密钥。
演示:官方的 Hugging Face Space。
d3-ultra 与 GLiDE V1.2、d1-ultra、Jev 1.14 以及 d3-turbo
精选3-超频3-涡轮GLiDE V1.2d1-超极Jev 1.14开发者vLLM语义路由器vLLM语义路由器Fastino LabsLiquid AITypeSafe参数26.09B26.09B26B 未披露未披露每题上下文131,07232,768 默认;启用long_context时为131,07240,000 默认32,768 262,144 权重/许可证开放,Apache-2.0开放,Apache-2.0开放,Fastino社区许可证仅托管仅托管,专有输入文本、JSON、图片、视频文本、JSON、图片、视频文本、JSON、图片文本、图片文本、图片盒子/追踪盒子+追踪盒子+追踪无无仅盒子SR-文本(由vLLM-SR自报)87.283.185.183.473.1SR-盒子,10个领域58.2%60.0%不支持不支持45.7%公开指数得分已提交,尚未上线70.2 Jev DI(自有估算)71.5 决策指数0.4.165 AA决策指数57 AA决策指数价格免费API,自托管免费API,自托管0.04美元/百万输入0.042美元/百万输入0.042美元/百万输入
要点总结
d3-ultra 是一款 27B 的 Apache-2.0 许可协议下的决策模型,从不生成文本。
它仅读取一次输入:255个问题针对1张照片,耗时2.16秒。
它在该团队的SR-Text测试中以87.2分位居榜首,领先于GLiDE V1.2的85.1分。
它在Box上的接地表现落后于d3-turbo:58.2%对比60.0%。
所有基准测试数据均来自私有测试集的自我报告。
请查看模型卡片、GitHub 仓库、Decision 3.0 集合以及 Hugging Face Space。此外,欢迎在 Twitter 上关注我们,别忘了加入我们的 15 万+ ML SubReddit,并订阅我们的新闻通讯。等等!您在使用 Telegram 吗?现在您也可以在 Telegram 上加入我们了。
需要与我们合作推广您的 GitHub 仓库、Hugging Face 页面、产品发布或网络研讨会等吗?请联系我们
文章“vLLM 语义路由器发布 d3-ultra:一款 270 亿参数的开源多模态决策模型”最先发表于 MarkTechPost。