跳到正文
AI NEWS JOURNAL
arXiv cs.CLAI NEWS / JOURNAL

发布尼泊尔语-英语混合语音识别新基准与合成到真实两阶段适配框架

研究者于2026年10月24日在arXiv发布论文(编号2610.30860v1),提出首个面向自发播客场景的尼泊尔语-英语代码切换ASR基准,含13,044条真实语句(15.45小时),并设计合成到真实的两阶段适配方法:先以0.95小时多说话人TTS合成语音监督微调,再引入带脚本奖励的组相对策略优化(GRPO)。

2026年10月24日,一项聚焦尼泊尔语-英语代码切换自动语音识别(ASR)的研究在arXiv平台发布(论文编号2610.30860v1)。该研究针对自发对话中因天城文(Devanagari)与拉丁字母混用导致的脚本混淆,以及语言切换点处错误率激增等关键挑战,构建并公开了一个全新基准数据集。

该基准包含13,044条源自真实播客的自发尼泊尔语-英语混合语句,总时长15.45小时,其中测试集10,214条、开发集2,830条;所有数据均经人工审计与验证,确保无机器翻译泄露与声学循环。研究者进一步提出两阶段合成到真实(synthetic-to-real)适配框架:第一阶段使用0.95小时由多说话人、双引擎TTS流水线生成的合成语音进行监督微调(SFT);第二阶段在SFT收敛模型基础上,采用组相对策略优化(GRPO),联合优化转录准确率与脚本一致性奖励。

实验表明,仅靠合成语音SFT即可显著提升跨域性能:混合错误率(MER)从23.40%降至21.52%,切换点错误率(SPER)从35.89%降至28.77%;后续在173条测试语句(占测试集1.69%)上应用GRPO,使英文脚本混淆率(SCR_en)从6.45%微降至6.36%(p≤0.001),SPER进一步降至28.70%(p=0.022,聚类校正)。消融分析发现,在SFT收敛的编码器-解码器结构中,因合成数据脚本方差趋近于零,额外加入脚本奖励项未带来性能增益。在单语基准上,SFT使尼泊尔语MER提升2.71个百分点,经GRPO后稳定于18.42%(较基线提升2.38个百分点),而英语词错误率(WER)基本不变(3.38% vs. 3.33%)。全部验证文本、时间戳、播客元数据及重建脚本均已开源。

资料来源

arXiv cs.CL

相关主题

← 继续阅读全部动态