本文へ移動
AI NEWS JOURNAL
AI, IN PERSPECTIVE

AI ニュースを検索

見出し・要約・本文から、情報のつながりを探します。

公開日時順

露呈は約束ではない:ツール使用エージェントに対する潜在的モニターの二重層評価

arXiv:2610.37679v1 公表タイプ:新規 要旨:ツールを使用する言語エージェントは間接的なプロンプトインジェクションに対して脆弱であり、不安全な行動が実行される前にそれを検出するためにモデル内部を調査する研究が増加しているが、その結果には著しく矛盾した点が見られる。我々は、こうした矛盾の多くは評価手法に起因すると主張し、評価および学習集団の両方において、インジェクションによる露呈と行動上の約束を分離する二重層化プロトコルを提案する。主要なQwen AgentDojoのグリッド上で、無意識的に不安全なケースとその他を混在させた対照条件下で訓練されたモニターは、ほとんどが露呈を学習しており、エージェントがそれに従うかどうかに関わらず露呈した軌跡を警告し、どのケースが不安全になるかをほとんど予測しない。一方、露呈したケースのみを対象に再訓練した場合、同じ種類のプローブはモデル自身が行う不安全なツール呼び出しを最大2秒前まで予測できる。

経緯と関連報道

FlexA-Mem:LLMエージェント向けの予算適応型エージェンティックメモリ

arXiv:2610.33274v1 公開タイプ:新規 要旨:大規模言語モデル(LLM)エージェントは、非常に多様なメモリニーズを抱えるシナリオで動作します。過去の会話に関する質問には、その文脈で明示された正確な事実が必要であり、一方で複数ステップからなるタスクでは、次のステップが特定できない詳細とともに、これまでに踏んだ手順の記録も必要です。既存のメモリはそれぞれ特定のシナリオ向けに設計・検証されており、A-Memのような検索型メモリでは現在のクエリが表現していない手順を見落とし、要約では正確な文字列が失われ、さらに両者を組み合わせても、予算の分割状態はあらかじめ固定されてしまいます。そこで私たちは、履歴の各単位を不変ストアに一度書き込み、各呼び出しごとに新たなメモリを生成する汎用的なメモリであるFlexA-Memを提案します。生成されるメモリは、固定ルールに基づいてフィルタリングされた記録と詳細情報から構成されるコンパクトなタイムラインです。

経緯と関連報道