本文へ移動
AI NEWS JOURNAL
AI, IN PERSPECTIVE

AI ニュースを検索

見出し・要約・本文から、情報のつながりを探します。

公開日時順

ReMoVe:一貫性のある人物動画生成のためのビデオモデル独自の動きの精緻化

arXiv:2611.18666v1 発表タイプ:新規 要旨:ビデオ生成モデルは、リアルな人間の動きを合成する能力を着実に向上させてきましたが、その動きを現実的にするための構造そのものを失ってしまうことがしばしばあります。生成される人間の動きが複雑化するにつれて、ビデオはフレーム間で進行的な身体の変形や外見のずれといった問題を抱えるようになります。既存のモーション制御手法は、生成を安定させるために明示的な表現を使用していますが、通常は事前に定義されたモーションシーケンスを参照として依存しています。このことは根本的な疑問を投げかけます。ベースとなるジェネレーターがすでに使用可能な粗いモーションを生成しているのに、なぜそれを外部のものと置き換える必要があるのでしょうか。ReMoVeは、この疑問に答えるため、粗い出力を最終結果ではなくモーション仮説として扱います。ReMoVeは基礎となるモーションを復元・精緻化し、その精緻化されたモーションを3Dメッシュとしてレンダリングした上で、顔の外見を転写することで、モーションの精度とアイデンティティの一貫性を向上させます。さらに、同じ3Dシーンとカメラ軌跡から深度を導出し、メッシュを超えたシーンレベルでの空間的一致性を強制します。メッシュと深度の両方にビデオ生成モデルを共同で条件付けることで、ReMoVeは制御可能なカメラ軌跡と強化された時空間的一致性を備えた高品質なモーションビデオを合成します。広範な実験により、ReMoVeが人間の構造的安定性、外見の一貫性、時間的整合性、およびモーション追従の忠実度を向上させるとともに、ベースジェネレーターのモーション事前分布を保持し、正確なカメラ制御を提供することが示されています。

Oddin:画像生成からの自己蒸留による統合マルチモーダルモデルにおける潜在的視覚推論

arXiv:2610.33062v1 発表タイプ:新規 要旨:統合型大規模マルチモーダルモデル(ULMM)は、テキストと画像の交互生成を通じて視覚推論を実行できるが、明示的な中間画像を生成するには多大な計算負荷が伴う。視覚ラテンシー推論はこの問題を解決するものの、既存の手法の多くは、視覚生成が不可能な視覚言語モデル(VLM)に依存している。そこで私たちは、ULMMにおけるラテンス視覚推論を可能にする新しいフレームワークであるOddinを提案する。Oddinでは、中間画像をコンパクトなラテントークンに置き換え、これらは理解ブランチのみで処理し、生成ブランチは最終的な出力画像の生成に専念させる。我々は、オフラインの自己蒸留手法を用いて、3つの目的——最終画像生成損失、テキスト蒸留損失、およびクロスエントロピー損失——に基づいてモデルを学習する。

経緯と関連報道