曝光并不等于承诺:针对使用工具的智能体的潜在监控者进行双重分层评估
arXiv:2610.37679v1 发布类型:新 摘要:使用工具的语言代理容易受到间接提示注入的威胁,而越来越多的研究试图通过探查模型内部来在不安全操作执行前将其捕获,但所得结果却存在严重分歧。我们认为,这种分歧在很大程度上源于评估过程中的偏差,并提出了一种双重分层协议:在评估与训练群体中,将提示注入暴露与行为承诺加以分离。在主要的Qwen AgentDojo基准上,那些基于朴素的“不安全样本与其余样本”混合对比进行训练的监测器,大多仅学会识别暴露情况:无论代理是否遵从,它们都会标记出暴露的轨迹,却几乎无法预测哪些情形会演变为不安全状态。而在仅针对暴露案例重新训练后,同一类探测器能够预测模型自身发出的不安全工具调用,时间延迟长达两秒……
