AudioLift：通过多视角视频生成，实现基于音频的单张图像到全头高斯化身的转换

摘要：现有的3D会说话的虚拟形象方法主要依赖于参数化人脸模型，如3DMM或FLAME，而这些模型紧凑的运动表示限制了其生成极端表情以及建模头饰等配饰的能力。我们提出了一种名为AudioLift的两阶段框架，该框架以生成的多视角视频作为音频驱动虚拟形象生成的中间表示，无需使用参数化人脸模型，也无需针对每个实例进行优化。我们的框架将同步的多视角视频生成阶段与一种抗不一致性高斯重建阶段相结合，从而从单张人像图像中恢复出连贯的全头几何结构。大量实验表明，AudioLift能够生成比现有方法更逼真地捕捉极端面部表情的3D会说话虚拟形象，并在完整的360°视角范围内实现了更高的几何完整性与优异的多视角一致性。

提交历史

访问 Paper：

查看PDF

HTML（实验性）

TeX 源代码

附加功能

音频摘要

当前浏览上下文：

参考文献与引用

谷歌学术

语义学者

书签

机构

arXivLabs 是一个框架，允许合作者直接在我们的网站上开发并共享新的 arXiv 功能。

无论是个人还是与 arXivLabs 合作的机构，都已认同并践行我们所倡导的开放、社区、卓越以及用户数据隐私等价值观。arXiv 致力于坚守这些价值观，并且只与同样秉持这些理念的合作伙伴开展合作。

您是否有一个能为 arXiv 社区创造价值的项目构想？欢迎了解更多关于 arXivLabs 的信息。