露出は承諾ではない:ツールを使用するエージェントに対する潜在的モニターの二層構造評価
arXiv:2610.37679v1 発表タイプ:新規 要旨:ツールを利用する言語エージェントは間接的なプロンプトインジェクションに対して脆弱であり、不安全な動作が実行される前にそれを検出するためにモデルの内部構造を調査する研究が増加しているものの、その結果には著しく矛盾したものが見られる。我々は、こうした矛盾の多くは評価手法に起因するものであると主張し、評価および学習集団の両方において、インジェクションへの曝露と行動上のコミットメントを明確に分離する二層化プロトコルを提案する。主要なQwen AgentDojoのグリッド上で、素朴な不安全対その他との混合対比に基づいて訓練されたモニターは、ほとんどが曝露の認識に注力しており、エージェントがそれに従うかどうかにかかわらず曝露された軌跡をフラグ付けする一方で、どのケースが不安全になるかを予測することはほとんどできない。曝露事例のみを対象に再訓練した場合でも、同じ種類のプローブは、モデル自身による不安全なツール呼び出しを最大2秒前まで予測できる。

