엔비디아, 음성 텍스트 변환 거대 모델 Nemotron 3.5 Transcribe 출시—8명이 동시에 말해도 정확한 인식 가능

최근 인공지능 칩 및 기술의 대기업인 엔비디아는 새로운 음성 텍스트 변환 거대 모델인 엔비디아 Nemotron 3.5 Transcribe를 공식 오픈소스로 발표했습니다. 전문 음성 처리 시나리오를 위해 설계된 최첨단 오픈소스 모델로서, 다국어 텍스트 변환 정확도, 장시간 오디오 처리, 다중 화자 분리 등 핵심 지표에서 업계 선도적 성과를 보여줍니다.

기반 아키텍처와 핵심 파라미터 면에서 Nemotron 3.5 Transcribe는 첨단 혼합 전문가(MoE) 모델 아키텍처를 채택하고 있습니다. 총 파라미터 수는 약 340억 개이며, 매번 전방향 전파 시 활성화되는 파라미터 수는 43억 개로, 강력한 추론 능력을 확보하면서도 운영 효율성을 동시에 고려합니다. 오디오 처리 능력 측면에서는 단일 처리 시 최대 1시간 길이의 연속 녹음 파일까지 처리할 수 있어, 각종 장시간 오디오, 회의록, 인터뷰 프로그램 등의 텍스트 변환 요구를 충족합니다.

다국어 지원 및 번역 기능에서도 이 모델은 매우 뛰어난 글로벌 적응력을 보여줍니다. 무려 40개 언어에 대한 정밀한 음성 텍스트 변환을 지원할 뿐만 아니라, 그 중 31개 언어와 영어 간 양방향 번역까지 가능하여 다국간 소통과 다국어 콘텐츠 처리 분야에서 활용 범위를 크게 확장합니다. 또한, 오랜 기간 음성 인식의 난제로 여겨져 온 다중 화자 대화 문제에 대해서도 최대 8명의 서로 다른 화자를 동시에 구분하고 실시간으로 발화 주체를 식별하는 기능을 갖추고 있습니다.

공신력 있는 벤치마크 및 평가 결과에서도 Nemotron 3.5 Transcribe의 성과는 매우 눈부십니다:

Open ASR의 영어 부문 평가에서 평균 단어 오류율(WER)이 5.33%로, 동종 오픈소스 모델들 가운데 단연 최고 수준을 기록했습니다.

Artificial Analysis의 비스트리밍 테스트에서도 단어 오류율이 2.8%로 더욱 낮아져, 오픈소스 순위 공동 1위를 차지했습니다.

전반적으로 볼 때, 엔비디아가 이번에 오픈소스로 공개한 Nemotron3.5Transcribe는 대규모 파라미터 수와 뛰어난 간섭 저항 분리 능력, 그리고 우수한 다국어 성능을 바탕으로 전 세계 개발자들과 음성 기술 생태계에 강력한 새로운 기반을 제공합니다.