vLLM 语义路由器发布 d3-ultra:一款 270 亿参数的开源多模态决策模型
vLLM 语义路由器发布了 d3-ultra,一款拥有 270 亿参数的开源多模态决策模型。它能够一次性读取文本、图像和视频,并为每个可能的答案返回概率,在该团队的 SR-Text 测试中取得了 87.2 分。原文“vLLM 语义路由器发布 d3-ultra:一款 270 亿参数的开源多模态决策模型”首发于 MarkTechPost。
检索标题、摘要与正文,把分散的信息连起来。
vLLM 语义路由器发布了 d3-ultra,一款拥有 270 亿参数的开源多模态决策模型。它能够一次性读取文本、图像和视频,并为每个可能的答案返回概率,在该团队的 SR-Text 测试中取得了 87.2 分。原文“vLLM 语义路由器发布 d3-ultra:一款 270 亿参数的开源多模态决策模型”首发于 MarkTechPost。
Dharma-AI提出VocabX方法,针对特定任务(如葡萄牙语作文自动评分)重构语言模型词汇表,以生成代价而非词频为优化目标,在不修改模型结构、参数或训练流程的前提下,实测推理成本下降77%,同时评估质量(bench score)从0.703提升至0.810。
本文为Hugging Face与Amazon联合发布的技术博客系列首篇,系统介绍如何在AWS Trainium AI加速芯片上使用TorchNeuron进行PyTorch模型推理性能分析,涵盖Neuron后端集成原理、torch.profiler配置方法、NeuronConfig与NeuronProfiler工具使用、Neuron Explorer可视化追踪,并以RMSNorm为例对比三种实现(朴素PyTorch、torch.rms_norm内置融合、torch.compile自动融合)的设备耗时差异。
Hugging Face 发布 TorchTPU,为 PyTorch 提供原生 TPU 后端支持,使 Transformers、Diffusers 等库可直接在 TPU 上运行,无需依赖 torch_xla 或迁移到 JAX。
Hugging Face正式发布AnyLanguageModel 1.0,提供与Apple Foundation Models API完全兼容的开源Swift框架,支持本地(MLX、llama.cpp、Core ML)及托管(OpenAI、Anthropic、Gemini、Hugging Face Inference Providers等)模型无缝切换,并新增图像输入、工具调用、引导式生成、推理块自动适配等特性。
Hugging Face联合AWS推出TorchNeuron——PyTorch原生Trainium后端,自2026年10月20日起开放公测。该技术使Transformers、Diffusers等主流库无需修改即可直接运行于Trainium芯片,显著提升文本生成与图像生成模型的易用性与兼容性。