X-配音：在时间和视觉约束下的语音到语音翻译

arXiv：2610.32042v1 发布类型：新 提要：跨语言配音旨在将源语言语音转换为目标语言语音，并使其与原视频保持同步。这一任务的关键在于生成忠实且在源语言时长节奏下自然可说的译文，而这并不容易，因为不同语言在音长、节奏和发音方式上存在差异。本文提出了一种名为 X-Dubbing 的方法，将该任务建模为一种同时考虑时间约束的语音转文本翻译与视频感知的文本转语音问题。具体而言，我们的方法由一个能够生成具有时间结构脚本的配音翻译器，以及一个能按照源视频节奏同步朗读这些脚本的配音演员组成，二者均基于一种与语言无关的时间预算。此外，我们还通过 dubbing 对翻译器进行了进一步优化。