arXiv:2610.37679v1 发布类型：新
摘要：使用工具的语言代理容易遭受间接提示注入攻击，而越来越多的研究试图通过探查模型内部机制，在不安全操作执行前将其识别出来，但所得结果却存在严重分歧。我们认为，这种分歧在很大程度上源于评估方法上的偏差，并提出了一种双重分层协议：在评估与训练样本中，将提示注入风险与行为承诺加以分离。在Qwen AgentDojo主测试集上，基于朴素的“不安全”与“其余”对比训练的监测器主要学习的是提示暴露程度：无论代理是否实际执行了不安全操作，它们都会标记出暴露轨迹，却几乎无法预测哪些情形最终会演变为不安全状态。而仅针对暴露案例重新训练后，同一类探测器便能提前最多两步预测模型自身的不安全工具调用——这一时间跨度正是三步轨迹所能涵盖的最大范围（逻辑回归AUROC为0.853，与经过训练的TF-IDF文本基线的0.855相当）。Mistral-7B达到0.896，OLMo-2-7B则高达0.912；二者在朴素对比中学习到的内容迥然不同：一个侧重于倒序的暴露排序，另一个则同时关注两个维度。在表示层面，暴露相关特征的表现尤为突出（探测器得分为1.000，而经训练的文本模型为0.908），而在可见上下文被清理或不可用的情况下，表现差异更为显著。仅凭训练阶段的对比设置，便能重现近期预动作探测研究中负面结果的形态，这或许可以解释上述分歧的一个可能原因：信号确实存在，但模型自身的零样本预测及其NLA形式的语义表达却无法可靠地捕捉并还原该信号。若采用未分层的AUROC指标，则会高估潜在监测器的实际认知能力；而朴素对比所揭示的学习内容又高度依赖于样本分布——因此，评估过程应当对这两方面均进行分层处理。