暴露并不等于承诺：针对使用工具的智能体的潜在监控器的双层评估
arXiv:2610.37679v1 发布类型：新 摘要：使用工具的语言模型容易受到间接提示注入的影响，而越来越多的研究试图通过探查模型内部来在不安全操作执行前将其捕获，但所得结果却存在严重分歧。我们认为，这种分歧很大程度上源于评估方法上的缺陷，并提出了一种双层评估协议：在评估与训练数据集中，将“提示注入”与“行为承诺”加以分离。在主要的Qwen AgentDojo基准测试集上，那些基于朴素的“不安全与其余”混合对比进行训练的监控器，大多仅学会识别“暴露”：它们会标记出所有被暴露的轨迹，无论智能体是否真正执行了相应操作，且几乎无法预测哪些情况最终会导致不安全行为。而当仅针对已暴露案例重新训练后，同一类探测器便能预测模型自身发出的不安全工具调用，时间延迟长达两秒。