네팔어-영어 혼합 음성 인식의 새로운 벤치마크와 합성에서 실제 데이터로의 이중 단계 적응 프레임워크를 발표했습니다.
연구자는 2026년 10월 24일 arXiv에 논문(번호 2610.30860v1)을 발표하여, 자발적 팟캐스트 환경을 위한 네팔어–영어 코드 스위칭 ASR 벤치마크를 최초로 제안했다. 이 벤치마크는 실제 발화 13,044건(15.45시간 분량)을 포함하며, 합성 음성에서 실제 음성으로 전환하는 두 단계의 적응 방법을 설계했다: 먼저 0.95시간 분량의 다중 화자 TTS 합성 음성을 활용한 감독 미세조정을 수행하고, 이후 스크립트 기반 보상을 도입한 그룹 상대적 정책 최적화(GRPO)를 적용한다.
추천 이유：이 연구는 저자원 언어 간 코드 전환 ASR에서 스크립트 혼란과 전환 지점 오류율이 높다는 핵심 과제에 정면으로 도전하며, 엄격한 데이터 감사를 통해 기계 번역 유출 및 음향 순환을 원천적으로 차단하고, 모든 검증 텍스트, 타임스탬프, 에피소드 메타데이터 및 재구성 스크립트를 공개했습니다. 실험 결과는 통계적 유의성을 보였으며(p≤0.001), 단일 언어 벤치마크에서도 일반화 안정성을 입증했습니다.