本文へ移動
AI NEWS JOURNAL
AI, IN PERSPECTIVE

AI ニュースを検索

見出し・要約・本文から、情報のつながりを探します。

公開日時順

ReMoVe:一貫性のある人物動画生成のためのビデオモデル独自の動きの精緻化

arXiv:2611.18666v1 発表タイプ:新規 要旨:ビデオ生成モデルは、リアルな人間の動きを合成する能力を着実に向上させてきましたが、その動きを現実的にするための構造そのものを失ってしまうことがしばしばあります。生成される人間の動きが複雑化するにつれて、ビデオはフレーム間で進行的な身体の変形や外見のずれといった問題を抱えるようになります。既存のモーション制御手法は、生成を安定させるために明示的な表現を使用していますが、通常は事前に定義されたモーションシーケンスを参照として依存しています。このことは根本的な疑問を投げかけます。ベースとなるジェネレーターがすでに使用可能な粗いモーションを生成しているのに、なぜそれを外部のものと置き換える必要があるのでしょうか。ReMoVeは、この疑問に答えるため、粗い出力を最終結果ではなくモーション仮説として扱います。ReMoVeは基礎となるモーションを復元・精緻化し、その精緻化されたモーションを3Dメッシュとしてレンダリングした上で、顔の外見を転写することで、モーションの精度とアイデンティティの一貫性を向上させます。さらに、同じ3Dシーンとカメラ軌跡から深度を導出し、メッシュを超えたシーンレベルでの空間的一致性を強制します。メッシュと深度の両方にビデオ生成モデルを共同で条件付けることで、ReMoVeは制御可能なカメラ軌跡と強化された時空間的一致性を備えた高品質なモーションビデオを合成します。広範な実験により、ReMoVeが人間の構造的安定性、外見の一貫性、時間的整合性、およびモーション追従の忠実度を向上させるとともに、ベースジェネレーターのモーション事前分布を保持し、正確なカメラ制御を提供することが示されています。

AudioLift:マルチビュー映像生成による、音声駆動型の単一画像からフルヘッドのガウスアバターへの変換

arXiv:2610.31747v1 発表タイプ:新規 要旨:既存の3D対話型アバター手法は、主に3DMMやFLAMEを含むパラメトリック顔モデルに依存しており、そのコンパクトな動作表現により、極端な表情の合成や、頭飾りなどのアクセサリーのモデリング能力が制限されています。私たちは、パラメトリック顔モデルや個々のインスタンスに対する最適化を用いずに、音声駆動型アバター生成のための中間表現として生成されたマルチビュー映像を用いる二段階フレームワーク「AudioLift」を提案します。本フレームワークは、同期されたマルチビュー映像の生成段階と、不整合に強いガウス再構成段階を組み合わせることで、単一のポートレート画像から一貫性のあるフルヘッドの幾何形状を復元します。広範な実験により、AudioLiftはより多くの表情を捉えられる3D対話型アバターを生成することが示されています。

AudioLift: Audio-Driven Single Image to Full-Head Gaussian Avatar via Multi-view Video Generation
経緯と関連報道