Nemotron 3.5 Bolt 74B-A9B 24GB：一种用于本地人工智能的视觉-语言混合模型

arXiv：2610.33039v1 发布类型：新 摘要：我们推出了 Nemotron 3.5 Bolt 74B-A9B 24GB，这是一种混合型 Mamba-Transformer 视觉语言模型，可在本地智能体驱动的工作负载中实现每 GB 内存的处理速度与智能性能的最优平衡。该模型源自 Nemotron 3.5 Super VL 120B-A12B 系列，通过结合 Star Elastic 压缩与 2 位量化感知蒸馏技术，适用于内存受限的部署场景。该模型针对推理、智能体工具调用以及网页与终端交互进行了优化。此外，我们还训练了一款名为 LiLiCorr 的投机式起草器，并随模型一同发布，以达到预期的推理速度。最终得到的模型在多项基准测试中，于相同内存占用和速度条件下，其准确率均高于同类领先模型，适用于通用智能体任务。