노출은 약속이 아니다: 도구를 사용하는 에이전트의 잠재적 모니터에 대한 이중 계층 평가
arXiv:2610.37679v1 발표 유형: 신규 초록: 도구를 사용하는 언어 에이전트는 간접적인 프롬프트 삽입에 취약하며, 점점 늘어나는 연구들은 모델 내부를 분석하여 안전하지 않은 행동이 실행되기 전에 이를 포착하려 하고 있지만, 그 결과는 매우 상반되고 있습니다. 우리는 이러한 갈등의 대부분이 평가 과정에서 발생하는 오류 때문이라고 주장하며, 평가 및 학습 집단 모두에서 삽입 노출과 행동 이행을 구분하는 이중 계층화 프로토콜을 제안합니다. 주요 Qwen AgentDojo 그리드에서, 순수한 혼합된 안전하지 않은 행동 대 나머지 행동의 대조를 기반으로 훈련된 모니터링 모델은 대부분 노출 여부만을 학습합니다. 즉, 에이전트가 해당 행동을 따르든 따르지 않든 노출된 경로를 표시할 뿐이며, 어떤 경우에 안전하지 않은 행동으로 이어지는지 예측하는 데는 거의 성과를 보이지 않습니다. 노출된 사례들만을 대상으로 재훈련한 동일한 탐지 모델군은 모델 자체가 수행하는 안전하지 않은 도구 호출을 최대 2초 전까지 예측할 수 있습니다.

