2026년 10월 24일, 네팔어와 영어 간 코드 전환을 지원하는 자동 음성인식(ASR)에 초점을 맞춘 연구가 arXiv 플랫폼에 게재되었다(논문 번호 2610.30860v1). 이 연구는 자발적 대화에서 데바나가리 문자와 라틴 알파벳의 혼용으로 인한 스크립트 혼란과 언어 전환 지점에서 오류율이 급증하는 등 주요 과제를 해결하기 위해 새로운 벤치마크 데이터셋을 구축하고 공개하였다.
이 벤치마크는 실제 팟캐스트에서 추출한 자발적인 네팔어-영어 혼합 문장 13,044개를 포함하며, 총 길이는 15.45시간입니다. 이 중 테스트 세트는 10,214개, 개발 세트는 2,830개로 구성되어 있습니다. 모든 데이터는 인공 검증을 거쳐 기계 번역 유출 및 음향 순환 문제가 없음을 확인했습니다. 연구자들은 또한 두 단계로 구성된 합성-실제 적응 프레임워크를 제안했습니다. 첫 번째 단계에서는 다중 화자와 듀얼 엔진 TTS 파이프라인을 통해 생성된 0.95시간 분량의 합성 음성을 사용해 감독微调(SFT)을 수행합니다. 두 번째 단계에서는 SFT로 수렴된 모델을 기반으로 그룹 상대 전략 최적화(GRPO)를 적용하여, 전사 정확도와 스크립트 일관성에 대한 보상을 함께 최적화합니다.
실험에 따르면, 합성 음성 SFT만으로도 도메인 간 성능이 크게 향상됨을 확인할 수 있다: 혼합 오류율(MER)은 23.40%에서 21.52%로, 전환점 오류율(SPER)은 35.89%에서 28.77%로 각각 감소하였다. 이후 테스트 세트의 1.69%에 해당하는 173개의 테스트 문장에 GRPO를 적용한 결과, 영어 스크립트 혼란도(SCR_en)는 6.45%에서 6.36%로 소폭 하락하였으며(p≤0.001), SPER은 추가로 28.70%로 낮아졌다(p=0.022, 군집 보정). 소멸 분석 결과, SFT가 수렴한 인코더-디코더 구조에서는 합성 데이터의 스크립트 분산이 거의 제로에 가까워짐에 따라, 별도의 스크립트 보상 항목을 추가해도 성능 향상이 나타나지 않았다. 단일 언어 베이스라인에서 SFT는 네팔어의 MER을 2.71%p 상승시켰고, GRPO 적용 후에는 18.42%로 안정화되어 기준선 대비 2.38%p 개선되었다. 반면 영어의 단어 오류율(WER)은 거의 변화가 없었으며(3.38% vs. 3.33%), 모든 검증 텍스트, 타임스탬프, 팟캐스트 메타데이터 및 재구성된 스크립트는 모두 오픈소스로 공개되었다.