ハウスホルダー・モーション埋め込み：モーション制御可能な動画生成のためのノイズ変調
arXiv:2611.07294v1 発表タイプ：新規 要旨：動画生成のための拡散モデルは顕著な成功を収めているが、明示的なユーザー指示のもとでの精密な動き制御は依然として困難である。最近のノイズワーピング手法は、ユーザーから提供された動き信号に従ってノイズを変形させることで時間的相関を導入する。しかし、標準的な空間ワーピングは一般にノイズの独立同一分布（i.i.d.）ガウス構造を破壊し、ヤコビアンベースの補正などの分布補正を必要とするが、その計算負荷は非常に大きい。我々はハウスホルダー・モーション・エンベディング（HME）を提案する。これは、各位置のチャンネルベクトルに適用される直交変換を構成する一連のハウスホルダー反射を通じて、動き信号をノイズに符号化する手法である。HMEは各フレーム内の空間的ガウス構造を正確に保持しつつ、フレーム間相関を導入することで時間的に整合性のある動画を促進する。HMEはネットワークアーキテクチャに依存せず、標準的な動画拡散ファインチューニングパイプラインに直接組み込むことができる。さまざまなシナリオにおける実験では、HMEが最新技術と同等またはそれ以上に性能を発揮する一方で、ノイズワーピングに比べて2.7倍の高速化を達成することが示されている。これらの結果は、チャンネル空間におけるハウスホルダー変換が、動き制御可能な動画生成においてノイズワーピングに対する原理的かつ効率的な代替手段となり得ることを示している。
