本文へ移動
AI NEWS JOURNAL
AI, IN PERSPECTIVE

AI ニュースを検索

見出し・要約・本文から、情報のつながりを探します。

公開日時順

Oddin:画像生成からの自己蒸留による統合マルチモーダルモデルにおける潜在的視覚推論

arXiv:2610.33062v1 発表タイプ:新規 要旨:統合型大規模マルチモーダルモデル(ULMM)は、テキストと画像の交互生成を通じて視覚推論を実行できるが、明示的な中間画像を生成するには多大な計算負荷が伴う。視覚ラテンシー推論はこの問題を解決するものの、既存の手法の多くは、視覚生成が不可能な視覚言語モデル(VLM)に依存している。そこで私たちは、ULMMにおけるラテンス視覚推論を可能にする新しいフレームワークであるOddinを提案する。Oddinでは、中間画像をコンパクトなラテントークンに置き換え、これらは理解ブランチのみで処理し、生成ブランチは最終的な出力画像の生成に専念させる。我々は、オフラインの自己蒸留手法を用いて、3つの目的——最終画像生成損失、テキスト蒸留損失、およびクロスエントロピー損失——に基づいてモデルを学習する。

経緯と関連報道

AI-for-Scienceエージェントはモデルの安全性を保てるのか?

arXiv:2610.32045v1 発表タイプ:新規 要旨:AI-for-Scienceエージェントは、科学的仮説の立案、自律型実験の実行、および証拠の解釈にますます活用されています。これらのエージェントは、大規模言語モデル(LLM)をドメイン固有のエージェントハーネスに統合することで構築され、その結果、LLMの科学的能力が向上し、モデルが科学ツールを調整・運用できるようになります。本研究では、LLMをAI-for-Scienceエージェントハーネスに統合した際、モデルの安全性が維持されるかどうかを検討します。5つのエージェントハーネスを対象に、50件の有害な化学関連リクエストについて評価を行いました。具体的には、直接的なプロンプト入力、2種類の単純な敵対的プロンプト戦略、および適応型攻撃の条件下で、安全性の挙動がどのように変化するかを調べました。最近のGPT系モデル4種類において、我々の結果は示しています

Do AI-for-Science Agents Preserve Model Safety?
経緯と関連報道

AudioLift:マルチビュー映像生成による、音声駆動型の単一画像からフルヘッドのガウスアバターへの変換

arXiv:2610.31747v1 発表タイプ:新規 要旨:既存の3D対話型アバター手法は、主に3DMMやFLAMEを含むパラメトリック顔モデルに依存しており、そのコンパクトな動作表現により、極端な表情の合成や、頭飾りなどのアクセサリーのモデリング能力が制限されています。私たちは、パラメトリック顔モデルや個々のインスタンスに対する最適化を用いずに、音声駆動型アバター生成のための中間表現として生成されたマルチビュー映像を用いる二段階フレームワーク「AudioLift」を提案します。本フレームワークは、同期されたマルチビュー映像の生成段階と、不整合に強いガウス再構成段階を組み合わせることで、単一のポートレート画像から一貫性のあるフルヘッドの幾何形状を復元します。広範な実験により、AudioLiftはより多くの表情を捉えられる3D対話型アバターを生成することが示されています。

AudioLift: Audio-Driven Single Image to Full-Head Gaussian Avatar via Multi-view Video Generation
経緯と関連報道