ハウスホルダー・モーション埋め込み：モーション制御可能な動画生成のためのノイズ変調

要旨：動画生成のための拡散モデルは顕著な成功を収めているが、明示的なユーザー指示下での精密な動き制御は依然として困難である。最近のノイズワーピング手法では、ユーザーから提供された動き信号に従ってノイズを変形させることで時間的相関を導入している。しかし、標準的な空間ワーピングは一般にノイズの独立同一分布（i.i.d.）ガウス構造を破壊し、ヤコビアンベースの補正などの分布補正が必要となるが、計算コストが大幅に増加する。我々はハウスホルダー・モーション・エンベディング（HME）を提案する。これは、各位置のチャンネルベクトルに適用される直交変換を構成する一連のハウスホルダー反射を通じて、動き信号をノイズに符号化する手法である。HMEは各フレーム内の空間的ガウス構造を正確に保持しつつ、フレーム間相関を導入して時間的に整合性のある動画を促進する。HMEはネットワークアーキテクチャに依存せず、標準的な動画拡散ファインチューニングパイプラインに直接組み込むことができる。さまざまなシナリオにおける実験では、HMEが最新技術と同等またはそれ以上の性能を示す一方で、ノイズワーピングに比べて2.7倍の高速化を達成することが示されている。これらの結果は、チャンネル空間におけるハウスホルダー変換が、動き制御可能な動画生成においてノイズワーピングに対する原理的かつ効率的な代替手段となり得ることを示している。 投稿履歴 論文へのアクセス： PDFを表示 HTML（実験的） TeXソース 追加機能 音声要約 現在の閲覧コンテキスト： 参考文献・引用情報 Google Scholar Semantic Scholar ブックマーク 機関 arXivLabsは、共同研究者が当社ウェブサイト上で新しいarXiv機能を直接開発・共有できるフレームワークです。 arXivLabsを利用する個人および組織は、オープン性、コミュニティ、卓越性という当社の価値観を積極的に受け入れ、支持しています。 ユーザーデータのプライバシー。arXivはこれらの価値観を重視しており、これらを遵守するパートナーのみと協力しています。 arXivのコミュニティに価値をもたらすプロジェクトのアイデアをお持ちですか？arXivLabsの詳細をご覧ください。