요약: 우리는 로컬 에이전트 워크로드를 위한 메모리 사용량당 속도와 지능을 최적화하는 하이브리드 맘바-트랜스포머 비전-언어 모델인 Nemotron 3.5 Bolt 74B-A9B 24GB를 소개합니다. Nemotron 3.5 Super VL 120B-A12B 모델 계열에서 파생된 Nemotron 3.5 Bolt 74B-A9B 24GB는 스타 엘라스틱 압축과 2비트 퀀티제이션 기반 증류 기법을 결합하여 메모리 제약 환경에서도 효율적으로 배포할 수 있도록 설계되었습니다. 이 모델은 추론, 에이전트 기반 도구 활용, 웹 및 터미널 상호작용에 최적화되어 있습니다. 또한, 목표한 추론 속도를 달성하기 위해 모델과 함께 공개되는 LiLiCorr 사양형 드래프터를 별도로 학습시켰습니다. 그 결과, 일반적인 에이전트 역량(예: GDPVal v2), 웹 브라우징(예: BrowseComp), 터미널 활용(예: Terminal-Bench 2.1) 등 다양한 벤치마크에서 유사한 메모리 사용량과 속도를 갖는 주요 모델들보다 높은 정확도를 보이며, RTX Spark 기준 TPS가 84로 비교적 높아 활성 매개변수 수가 훨씬 적은 모델들과 경쟁할 수 있을 뿐만 아니라 장기적인 에이전트 애플리케이션에도 충분히 적합합니다.
제출 기록
Access Paper:
PDF 보기
HTML(실험적)
TeX 소스
추가 기능
오디오 요약
현재 탐색 컨텍스트:
참고문헌 및 인용
구글 학술 검색
시멘틱 스콜라
북마크
기관
arXivLabs는 협업자가 당사 웹사이트에서 새로운 arXiv 기능을 직접 개발하고 공유할 수 있도록 하는 프레임워크입니다.
arXivLabs와 협력하는 개인과 조직 모두는 개방성, 커뮤니티, 탁월성, 그리고 사용자 데이터 프라이버시라는 당사의 가치를 수용하고 이를 준수해 왔습니다. arXiv은 이러한 가치에 전념하며, 이들 가치를 준수하는 파트너들과만 협력합니다.
arXiv 커뮤니티에 가치를 더할 프로젝트 아이디어가 있으신가요? arXivLabs에 대해 자세히 알아보세요.