AudioLift：マルチビュー映像生成による、音声駆動型の単一画像からフルヘッドのガウスアバターへの変換
arXiv:2610.31747v1 発表タイプ：新規 要旨：既存の3D対話型アバター手法は、主に3DMMやFLAMEを含むパラメトリック顔モデルに依存しており、そのコンパクトな動作表現により、極端な表情の合成や、頭飾りなどのアクセサリーのモデリング能力が制限されています。私たちは、パラメトリック顔モデルや個々のインスタンスに対する最適化を用いずに、音声駆動型アバター生成のための中間表現として生成されたマルチビュー映像を用いる二段階フレームワーク「AudioLift」を提案します。本フレームワークは、同期されたマルチビュー映像の生成段階と、不整合に強いガウス再構成段階を組み合わせることで、単一のポートレート画像から一貫性のあるフルヘッドの幾何形状を復元します。広範な実験により、AudioLiftはより多くの表情を捉えられる3D対話型アバターを生成することが示されています。
