2026年10月24日、ネパール語と英語のコード切り替えに対応した自動音声認識（ASR）に関する研究がarXivプラットフォームで公開されました（論文番号2610.30860v1）。この研究では、自発的な対話においてデーヴァナーガリー文字とラテンアルファベットが混在することによるスクリプトの混同や、言語切替点における誤り率の急増といった重要な課題に着目し、新たなベンチマークデータセットを構築して公開しました。
このベンチマークには、実際のポッドキャストから抽出された13,044件の自然なネパール語–英語混合文が含まれており、総時間は15.45時間です。うちテストセットが10,214件、開発セットが2,830件です。すべてのデータは人手による監査と検証を経ており、機械翻訳の漏洩や音響ループが存在しないことを確保しています。さらに研究者は、合成から実データへの適応フレームワークを二段階で提案しました。第一段階では、複数の話者による双エンジンTTSパイプラインで生成された0.95時間分の合成音声を用いて、教師あり微調整（SFT）を行います。第二段階では、SFTで収束したモデルを基に、グループ相対戦略最適化（GRPO）を採用し、転写精度とスクリプトの一貫性に関する報酬を同時に最適化します。
実験の結果、合成音声によるSFTのみでもクロスドメイン性能が顕著に向上することが示された。混合誤り率（MER）は23.40％から21.52％へ、切り替え点誤り率（SPER）は35.89％から28.77％へ低下した。さらに、テストセットの1.69％に相当する173文に対してGRPOを適用したところ、英語スクリプト混同率（SCR_en）は6.45％から6.36％へわずかに低下（p≤0.001）、SPERは28.70％へさらに低下した（p=0.022、クラスタリング補正後）。アブレーション解析では、SFTが収束したエンコーダー・デコーダー構造において、合成データのスクリプト分散がほぼゼロに近づいたため、追加のスクリプト報酬項を導入しても性能向上は見られなかった。単言語ベースラインにおいては、SFTによりネパール語のMERが2.71ポイント改善され、GRPO適用後には18.42％に安定した（基線比で2.38ポイントの向上）。一方、英語の単語誤り率（WER）はほぼ変化せず（3.38％対3.33％）であった。検証に用いた全テキスト、タイムスタンプ、ポッドキャストメタデータおよび再構築スクリプトはすべてオープンソースとして公開されている。