AudioLift：通过多视角视频生成，实现基于音频的单张图像到全头高斯化身的转换
arXiv:2610.31747v1 发布类型：新 摘要：现有的3D会说话的虚拟形象方法主要依赖于参数化人脸模型，包括3DMM或FLAME，而这些模型紧凑的运动表示限制了其合成极端表情以及建模诸如头饰等配饰的能力。我们提出了一种名为AudioLift的两阶段框架，该框架以生成的多视角视频作为音频驱动虚拟形象生成的中间表示，无需使用参数化人脸模型或针对每个实例进行优化。我们的框架将同步的多视角视频生成阶段与一种抗不一致性高斯重建阶段相结合，从而仅凭一张肖像图像即可恢复出连贯的全头几何结构。大量实验表明，AudioLift能够生成捕捉更多表情变化的3D会说话虚拟形象
