本文へ移動
AI NEWS JOURNAL
arXiv cs.CVAI NEWS / JOURNAL

ReMoVe:一貫性のある人物動画生成のためのビデオモデル独自の動きの精緻化

arXiv:2611.18666v1 発表タイプ:新規 要旨:ビデオ生成モデルは、リアルな人間の動きを合成する能力を着実に向上させてきましたが、その動きを現実的にするための構造そのものを失ってしまうことがしばしばあります。生成される人間の動きが複雑化するにつれて、ビデオはフレーム間で進行的な身体の変形や外見のずれといった問題を抱えるようになります。既存のモーション制御手法は、生成を安定させるために明示的な表現を使用していますが、通常は事前に定義されたモーションシーケンスを参照として依存しています。このことは根本的な疑問を投げかけます。ベースとなるジェネレーターがすでに使用可能な粗いモーションを生成しているのに、なぜそれを外部のものと置き換える必要があるのでしょうか。ReMoVeは、この疑問に答えるため、粗い出力を最終結果ではなくモーション仮説として扱います。ReMoVeは基礎となるモーションを復元・精緻化し、その精緻化されたモーションを3Dメッシュとしてレンダリングした上で、顔の外見を転写することで、モーションの精度とアイデンティティの一貫性を向上させます。さらに、同じ3Dシーンとカメラ軌跡から深度を導出し、メッシュを超えたシーンレベルでの空間的一致性を強制します。メッシュと深度の両方にビデオ生成モデルを共同で条件付けることで、ReMoVeは制御可能なカメラ軌跡と強化された時空間的一致性を備えた高品質なモーションビデオを合成します。広範な実験により、ReMoVeが人間の構造的安定性、外見の一貫性、時間的整合性、およびモーション追従の忠実度を向上させるとともに、ベースジェネレーターのモーション事前分布を保持し、正確なカメラ制御を提供することが示されています。

この言語の翻訳はまだありません。原文を表示しています。

要旨:ビデオ生成モデルは、リアルな人間の動きを合成する能力をますます高めていますが、その動きを現実的にする根本的な構造を見失うことがしばしばあります。生成される人間の動きが複雑になるにつれて、ビデオはフレーム間で進行的な身体の変形や外見のずれといった問題に悩まされることがあります。既存のモーション制御手法は、生成を安定させるために明示的な表現を使用していますが、通常は事前に定義されたモーションシーケンスを参照として依存しています。これにより、根本的な疑問が生じます。ベースとなるジェネレーターがすでに使用可能な粗いモーションを生成しているのに、なぜそれを外部のものと置き換える必要があるのでしょうか。ReMoVeはこの疑問に答えるため、粗い出力を最終結果ではなくモーション仮説として扱います。ReMoVeは基礎となるモーションを復元・精緻化し、その精緻化されたモーションを3Dメッシュとしてレンダリングした上で、顔の外見をそれに転送することで、モーションの精度とアイデンティティの一貫性を向上させます。さらに、同じ3Dシーンとカメラ軌跡から深度を導出し、メッシュを超えたシーンレベルでの空間的一致性を強制します。メッシュと深度の両方にビデオ生成モデルを共同で条件付けることで、ReMoVeは制御可能なカメラ軌跡と強化された時空間的一致性を備えた高品質なモーションビデオを合成します。広範な実験により、ReMoVeが人間の構造的安定性、外見の一貫性、時間的整合性、およびモーション追従の忠実度を向上させると同時に、ベースジェネレーターのモーション事前分布を保持し、正確なカメラ制御を提供することが示されています。 投稿履歴 論文へのアクセス: PDFを表示 HTML(実験的) TeXソース 追加機能 音声要約 現在の閲覧コンテキスト: 参考文献&引用 Google Scholar Semantic Scholar ブックマーク 機関 arXivLabsは、共同研究者が新しいarXiv機能を開発・共有できるフレームワークです 当社のウェブサイト上で直接。 arXivLabsと連携する個人および組織は、いずれも当社の価値観であるオープン性、コミュニティ、卓越性、そしてユーザーデータのプライバシーを尊重し、受け入れています。arXivはこれらの価値観にコミットしており、それらを遵守するパートナーのみと協力しています。 arXivのコミュニティに価値をもたらすプロジェクトのアイデアをお持ちですか?arXivLabsについて詳しくご覧ください。

出典

原文を読む ↗

関連テーマ

← すべてのニュースへ