要旨：統合型大規模マルチモーダルモデル（ULMM）は、テキストと画像の交互生成を通じて視覚推論を実行できるが、明示的な中間画像を生成するには多大な計算負荷が伴う。視覚潜在空間推論によってこの課題は解決されるものの、既存の手法の多くは、視覚生成が不可能な視覚言語モデル（VLM）に依存している。本研究では、ULMMにおける潜在的視覚推論を実現する新たなフレームワーク「Oddin」を提案する。Oddinは、中間画像をコンパクトな潜在トークンに置き換え、これらを理解分岐のみで処理することで、生成分岐は最終的な出力画像の生成に専念させる。モデルは、3つの目的——最終画像生成損失、テキスト蒸留損失、特殊トークンに対する交差エントロピー損失——に基づくオフライン自己蒸留により学習される。Oddinは、7つのVBVR-Pro視覚推論タスクにおいて、交互生成ベースラインおよびクローズドソースのVLMを平均して上回る性能を示す。定性的分析からは、潜在トークンが入力画像の関連領域に注意を向けることが明らかになり、ULMMが中間画像を生成することなく複雑な視覚推論を実行できることを示している。
提出履歴
Paperへのアクセス：
PDFを表示
HTML（実験的）
TeXソース
追加機能
オーディオ要約
現在の閲覧コンテキスト：
参考文献および引用
Google Scholar
セマンティック・スカラー
ブックマーク
機関
arXivLabsは、共同作業者が当社のウェブサイト上で新しいarXiv機能を直接開発・共有できるフレームワークです。
arXivLabsと協働する個人および組織は、いずれも当社の価値観であるオープン性、コミュニティ、卓越性、そしてユーザーデータのプライバシーを尊重し、受け入れています。arXivはこれらの価値観に固くコミットしており、それらを遵守するパートナーのみと協力しています。
arXivのコミュニティに価値をもたらすプロジェクトのアイデアをお持ちですか？arXivLabsについて詳しくご覧ください。