본문으로 건너뛰기
AI NEWS JOURNAL
텐센트 뉴스 · AI 채널AI NEWS / JOURNAL

엔비디아가 최강의 음성 문자 변환 AI를 오픈소스로 공개했습니다: 40개 언어를 지원하며, 8명이 동시에 말해도 정확한 텍스트 변환을 제공합니다.

IT之家 10월 29일 보도에 따르면, 엔비디아는 어제(10월 28일) 개방형 가중치 음성 텍스트 변환 모델인 Nemotron 3.5 Transcribe를 출시하고, 동시에 학습 데이터 파이프라인인 Granary v2를 공개했다. Nemotron 3.5 Transcribe 모델은 텍스트 변환, 화자 식별, 번역 및 오디오 질문응답 기능을 통합하며, 주로 회의록 작성, 강의 녹화 자료 정리, 인터뷰 내용 요약, 다국어 고객 서비스 등 다양한 활용场景에 적합하다. 아키텍처 측면에서 Nemotron 3.5 Transcribe는...

번역 서비스가 일시 중지되어 원문을 표시합니다.

IT之家 10 月 29 日消息,英伟达昨日(10 月 28 日)宣布推出开放权重语音转录模型 Nemotron 3.5 Transcribe,并同步公开训练数据管线 Granary v2。

Nemotron 3.5 Transcribe 模型整合转录、说话人归属、翻译和音频问答,主要面向会议纪要、课堂录像、访谈整理和多语言客服等场景。

在架构方面,Nemotron 3.5 Transcribe 采用混合专家(MoE)架构,总参数约 340 亿,激活参数量约 43 亿。它可处理最长 1 小时的录音,支持 40 种语言的转录,其中 31 种语言可与英语互译;在说话人识别方面,最多可区分 8 名说话人,并支持 13 种语言的说话人标注。

该模型最大亮点是应对“多人同时说话”的能力。模型在生成文本时即可为每段发言标注说话人。官方演示中,它对 1940 年电影《他的女友礼拜五》中语速极快、大量重叠对白的场景,也能分角色生成字幕。

在公开评测中,该模型在 Hugging Face Open ASR Leaderboard 英语组以 5.33% 的平均词错误率位居开放权重模型第一。

在 Artificial Analysis 的非流式词错误率指数中,以 2.8% 的成绩与 Voxtral Small Transcribe 并列开源模型首位。说话人归属方面,它在 David AI 的 21 种语言说话人分离基准中录得 18.26% 的最低错误率。IT之家附上相关图片如下:

模型已在 Hugging Face 与 ModelScope 免费开放,采用 OpenMDW-1.1 许可证;量化版本预计后续发布,便于在 RTX Spark、DGX Spark、Jetson AGX Thor 等本地设备运行。

Granary v2 是 NVIDIA 为多语言语音模型(如 Nemotron 3.5 Transcribe)构建的开放、可复用的训练数据整理管线与数据集。

它把原始 / 已有标注的音频自动加工成多种转录格式、翻译、字幕、问答和指令对,供 ASR、语音翻译和语音指令微调使用。

公开的 Granary v2 数据清单覆盖 463,062 小时音频、48 种语言、16 个源语料库,相比 Granary v1 的 25 种语言明显扩展。

对同一段录音,Granary v2 至少生成三种转录变体,对应模型可被提示要求的不同书面风格:

文本规范化逐字稿(tn_raw):保留“呃”“嗯”等不流畅表达,但数字等文本形式规范化,例如“I paid, uh, twenty-five euros.”

逆文本规范化、含不流畅表达(itn_raw):把口语数字还原为书面符号,如“I paid, uh, €25.”

逆文本规范化、去除不流畅表达(itn_clean):输出干净可读文本,如“I paid €25.”

자료 출처

원문 읽기 ↗

관련 주제

← 전체 소식 이어 읽기