arXiv:2610.37679v1 발표 유형: 신규
요약: 도구를 사용하는 언어 에이전트는 간접적인 프롬프트 주입에 취약하며, 점점 늘어나는 연구들은 모델의 내부 구조를 분석하여 안전하지 않은 행동이 실행되기 전에 이를 포착하려 하고 있지만, 그 결과는 매우 상반되고 있습니다. 우리는 이러한 상충이 대부분 평가 과정에서 발생하는 오류 때문이라고 주장하며, 평가와 학습 집단 모두에서 주입 노출과 행동 이행을 각각 분리하는 이중 계층화 프로토콜을 제안합니다. 주요 Qwen AgentDojo 그리드에서, 순수한 혼합형 안전성 대 나머지 대비를 기반으로 훈련된 모니터링 모델은 대부분 노출 여부만을 학습합니다. 즉, 에이전트가 실제로 안전한 행동을 따르든 아니든 노출된 경로를 표시할 뿐, 어떤 경우에 안전하지 않은 행동으로 이어지는지를 거의 예측하지 못합니다. 그러나 노출된 사례들만을 대상으로 재훈련한 동일한 탐지 모델군은 모델 자체의 안전하지 않은 도구 호출을 최대 두 단계 앞서 예측하며, 이는 세 단계로 구성된 경로가 허용하는 최대 범위입니다(로지스틱 AUROC 0.853, 훈련된 TF-IDF 텍스트 기반 기준선도 0.855로 동등). Mistral-7B는 0.896, OLMo-2-7B는 0.912의 성능을 보이며, 이들의 순수한 대비 실험에서는 서로 다른 학습 결과를 나타냅니다. 한 모델에서는 노출 순위가 역전되고, 다른 모델에서는 두 축 모두에서 반대되는 결과가 나타납니다. 표현 방식 역시 노출 여부(탐지 모델 1.000 대 훈련된 텍스트 0.908)와 가시적 문맥이 정제되었거나 이용 불가인 경우에 따라 달라집니다. 학습 대비만으로는 최근의 사전 행동 탐지 관련 부정적 결과의 형태를 재현할 수 있으며, 이러한 상충의 한 가지 가능한 설명은 신호는 존재하지만 모델 자체의 제로샷 예측과 NLA 언어화 과정에서는 이를 신뢰성 있게 복구하지 못한다는 점입니다. 계층화되지 않은 AUROC 지표는 잠재적 모니터링 시스템이 파악하는 바와 순수한 대비 실험이 학습하는 내용이 인구 집단에 따라 다르다는 사실을 과장하고 있습니다. 따라서 평가는 양쪽 모두를 계층화해야 합니다.