要旨：本稿では、ローカルなエージェント型ワークロード向けに、使用するメモリ1GBあたりの速度と知能を最適化したハイブリッド型Mamba-Transformer視覚言語モデルであるNemotron 3.5 Bolt 74B-A9B 24GBを紹介します。Nemotron 3.5 Super VL 120B-A12Bモデルファミリーを基に構築されたNemotron 3.5 Bolt 74B-A9B 24GBは、Star Elastic圧縮と2ビット量子化-aware蒸留を組み合わせることで、メモリ制約下でのデプロイに対応しています。本モデルは、推論、エージェントによるツール利用、およびWebや端末との対話に最適化されています。また、本モデルと併せて公開するLiLiCorrスペキュラティブドラフト生成器も訓練し、目標とする推論速度の達成を目指しました。その結果得られたモデルは、一般的なエージェント能力（例：GDPVal v2）、ウェブブラウジング（例：BrowseComp）、端末利用（例：Terminal-Bench 2.1）といった多様なベンチマークにおいて、同程度のメモリフットプリントと速度を持つ最先端モデルよりも高い精度を実現しており、RTX Spark上で84という比較的高いTPSを達成しています。これは、アクティブパラメータ数がはるかに少ないモデルと同等であり、長期的なエージェントアプリケーションにも十分対応可能な性能です。
提出履歴
Paperへのアクセス：
PDFを表示
HTML（実験的）
TeXソース
追加機能
オーディオ要約
現在の閲覧コンテキスト：
参考文献および引用
Google Scholar
セマンティック・スカラー
ブックマーク
機関
arXivLabsは、共同作業者が当社のウェブサイト上で新しいarXiv機能を直接開発・共有できるフレームワークです。
arXivLabsと協働する個人および組織は、いずれも当社の価値観であるオープン性、コミュニティ、卓越性、そしてユーザーデータのプライバシーを尊重し、受け入れています。arXivはこれらの価値観に固くコミットしており、それらを遵守するパートナーのみと協力しています。
arXivのコミュニティに価値をもたらすプロジェクトのアイデアをお持ちですか？arXivLabsについて詳しくご覧ください。