露呈は約束ではない：ツール使用エージェントに対する潜在的モニターの二重層評価

arXiv:2610.37679v1 公表タイプ：新規

要旨：ツールを利用する言語エージェントは間接的なプロンプトインジェクションに対して脆弱であり、不安全な動作が実行される前にそれを検出しようとモデルの内部構造を調査する研究が増加しているものの、その結果には著しく矛盾が見られる。我々は、こうした矛盾の多くが評価手法に起因するものであると主張し、評価および学習データセットの両方において、インジェクションへの曝露と行動上のコミットメントを明確に分離する二層化プロトコルを提案する。主要なQwen AgentDojoグリッド上で、素朴な不安全対その他との混合対比に基づいて訓練されたモニターは、主に曝露を学習する傾向にある。すなわち、エージェントがそれに従うかどうかにかかわらず、曝露された軌跡をフラグ付けし、どのケースが不安全に至るかをほとんど予測できない。一方、曝露事例のみを対象に再訓練した場合、同じ種類のプローブはモデル自身による不安全なツール呼び出しを最大2ステップ先まで予測でき、これは3ステップの軌跡が許容する最大範囲に相当する（ロジスティックAUROC 0.853、これに匹敵する訓練済みTF-IDFテキストベースラインは0.855）。Mistral-7Bでは0.896、OLMo-2-7Bでは0.912に達しており、それぞれの素朴な対比は異なることを学習している。一方では曝露ランキングが逆転し、もう一方では両軸とも逆転している。表現は、曝露に関してはプローブが1.000に対し訓練済みテキストは0.908と分離され、また、可視的なコンテキストがクリーン化されているか利用不可能な場合にはさらに差が生じる。学習時の対比だけでは、最近の事前行動プローブに関する否定的結果の形状を再現でき、これが矛盾の一因となる可能性がある。すなわち、信号自体は存在するものの、モデル自身のゼロショット予測やNLAによる言語化ではそれを信頼性高く復元できないのだ。層別化を行わないAUROCは、潜在的なモニターが把握している事項を過大評価し、また、素朴な対比が学習する内容は集団依存的であるため、評価では両者を層別化すべきである。