Nemotron 3.5 Bolt 74B-A9B 24GB: 로컬 AI를 위한 하이브리드 비전-언어 모델
arXiv:2610.33039v1 발표 유형: 신규 초록: 우리는 로컬 에이전트 워크로드를 위한 메모리 사용량 당 속도와 지능을 최적화하는 하이브리드 Mamba-Transformer 비전-언어 모델인 Nemotron 3.5 Bolt 74B-A9B 24GB를 소개합니다. Nemotron 3.5 Super VL 120B-A12B 모델 계열에서 파생된 Nemotron 3.5 Bolt 74B-A9B 24GB는 스타 엘라스틱 압축과 2비트 퀀타이제이션 기반의 학습-aware 디스틸레이션을 결합하여 메모리 제약 환경에서의 배포에 적합하도록 설계되었습니다. 이 모델은 추론, 에이전트 기반 도구 활용, 그리고 웹 및 터미널 상호작용에 최적화되어 있습니다. 또한, 목표한 추론 속도 달성을 위해 모델과 함께 공개되는 LiLiCorr 사양형 드래프터를 별도로 학습시켰습니다. 그 결과 생성된 모델은 일반적인 에이전트 작업에 대한 여러 벤치마크에서 유사한 메모리 크기와 속도를 갖는 주요 경쟁 모델들보다 높은 정확도를 달성했습니다.
