本文へ移動
AI NEWS JOURNAL
AI, IN PERSPECTIVE

AI ニュースを検索

見出し・要約・本文から、情報のつながりを探します。

公開日時順

ReMoVe:一貫性のある人物動画生成のためのビデオモデル独自の動きの精緻化

arXiv:2611.18666v1 発表タイプ:新規 要旨:ビデオ生成モデルは、リアルな人間の動きを合成する能力を着実に向上させてきましたが、その動きを現実的にするための構造そのものを失ってしまうことがしばしばあります。生成される人間の動きが複雑化するにつれて、ビデオはフレーム間で進行的な身体の変形や外見のずれといった問題を抱えるようになります。既存のモーション制御手法は、生成を安定させるために明示的な表現を使用していますが、通常は事前に定義されたモーションシーケンスを参照として依存しています。このことは根本的な疑問を投げかけます。ベースとなるジェネレーターがすでに使用可能な粗いモーションを生成しているのに、なぜそれを外部のものと置き換える必要があるのでしょうか。ReMoVeは、この疑問に答えるため、粗い出力を最終結果ではなくモーション仮説として扱います。ReMoVeは基礎となるモーションを復元・精緻化し、その精緻化されたモーションを3Dメッシュとしてレンダリングした上で、顔の外見を転写することで、モーションの精度とアイデンティティの一貫性を向上させます。さらに、同じ3Dシーンとカメラ軌跡から深度を導出し、メッシュを超えたシーンレベルでの空間的一致性を強制します。メッシュと深度の両方にビデオ生成モデルを共同で条件付けることで、ReMoVeは制御可能なカメラ軌跡と強化された時空間的一致性を備えた高品質なモーションビデオを合成します。広範な実験により、ReMoVeが人間の構造的安定性、外見の一貫性、時間的整合性、およびモーション追従の忠実度を向上させるとともに、ベースジェネレーターのモーション事前分布を保持し、正確なカメラ制御を提供することが示されています。

ハウスホルダー・モーション埋め込み:モーション制御可能な動画生成のためのノイズ変調

arXiv:2611.07294v1 発表タイプ:新規 要旨:動画生成のための拡散モデルは顕著な成功を収めているが、明示的なユーザー指示のもとでの精密な動き制御は依然として困難である。最近のノイズワーピング手法は、ユーザーから提供された動き信号に従ってノイズを変形させることで時間的相関を導入する。しかし、標準的な空間ワーピングは一般にノイズの独立同一分布(i.i.d.)ガウス構造を破壊し、ヤコビアンベースの補正などの分布補正を必要とするが、その計算負荷は非常に大きい。我々はハウスホルダー・モーション・エンベディング(HME)を提案する。これは、各位置のチャンネルベクトルに適用される直交変換を構成する一連のハウスホルダー反射を通じて、動き信号をノイズに符号化する手法である。HMEは各フレーム内の空間的ガウス構造を正確に保持しつつ、フレーム間相関を導入することで時間的に整合性のある動画を促進する。HMEはネットワークアーキテクチャに依存せず、標準的な動画拡散ファインチューニングパイプラインに直接組み込むことができる。さまざまなシナリオにおける実験では、HMEが最新技術と同等またはそれ以上に性能を発揮する一方で、ノイズワーピングに比べて2.7倍の高速化を達成することが示されている。これらの結果は、チャンネル空間におけるハウスホルダー変換が、動き制御可能な動画生成においてノイズワーピングに対する原理的かつ効率的な代替手段となり得ることを示している。