AI 뉴스 검색

노출은 약속이 아니다: 도구 사용 에이전트를 위한 잠재적 모니터의 이중 계층 평가

arXiv:2610.37679v1 발표 유형: 신규 요약: 도구를 사용하는 언어 에이전트는 간접적인 프롬프트 주입에 취약하며, 점점 늘어나는 연구들은 모델 내부를 분석하여 안전하지 않은 행동이 실행되기 전에 이를 포착하려고 시도하고 있지만, 그 결과는 매우 상반됩니다. 우리는 이러한 갈등의 대부분이 평가 과정에서 발생하는 오류 때문이라고 주장하며, 평가와 학습 집단 모두에서 주입 노출과 행동적 약속을 분리하는 이중 계층화 프로토콜을 제안합니다. 주요 Qwen AgentDojo 그리드에서, 무지한 상태로 불안전한 행동과 나머지 행동을 혼합한 대조를 기반으로 학습된 모니터들은 대부분 노출을 인식하는 방식으로 학습됩니다. 즉, 에이전트가 실제로 행동을 따르든 아니든 노출된 경로를 표시하며, 어떤 경우에 안전하지 않은 행동으로 이어지는지 거의 예측하지 못합니다. 노출된 사례들만을 대상으로 재학습한 동일한 탐지 계열은 모델 자체가 수행하는 안전하지 않은 도구 호출을 최대 2초 전까지 예측할 수 있습니다.

3, 7, 14, 17, 42: 지도 조정이 언어 모델의 숫자 선택 휴리스틱을 설치하고 날카롭게 만든다

arXiv:2610.36178v1 발표 유형: 신규 초록: 우리는 임의의 숫자를 요청받았을 때 언어 모델이 1부터 N까지의 각 정수에 부여하는 확률을 표본 오차 없이 측정한다. 고정된 프롬프트 하에서 모델은 하나의 확률 벡터를 정의하며, 이는 표본 추출로 추정하는 방식이 아니라 각 정수의 점수화된 표현을 모두 합산하여 계산함으로써 기존 연구들[1, 4]에서 제한되던 노이즈를 제거한다. 우리는 두 개의 추론 스택에서 N = 100까지의 다섯 가지 범위에 걸쳐 18개의 오픈 웨이트 모델 라인을 29가지 디코딩 구성하에 평가하였으며, 그 중 15개 모델은 사용 가능한 답변을 제공하는 기본 체크포인트와 지도 조정 체크포인트가 모두 일치하였다. 지도 조정은 이 15쌍 모두에서 분포를 보다 균일하지 않게 만들며, 하나의 휴리스틱인 ‘둥근 수 회피’를 도입하고 또 다른 휴리스틱인 ‘종점 회피’를 더욱 명확히 한다. 기본 체크포인트

해석하기 전에 감지하기: LLM에서의 페르투베이션 기반 입력 모호성 감지

arXiv:2610.36353v1 발표 유형: 신규 초록: 대규모 언어 모델(LLM)은 종종 모호한 입력에 대해 하나의 의도된 의미만 있는 것처럼 답변합니다. 이는 문제가 되는데, 입력의 모호성은 불확실성의 상류 원천이기 때문입니다. 즉, 프롬프트가 여러 가지 타당한 해석을 허용할 때, 핵심 질문은 모델이 과연 직접 답변을 해야 하는지 여부입니다. 기존의 입력 불확실성 처리 방법들은 종종 LLM이 생성한 문장이나 명확화에 의존하지만, 이러한 변환 과정 자체가 모호성을 측정하기 전에 이미 입력을 해석해 버릴 수 있습니다. 우리는 입력 모호성 감지를 위한 라벨 보존형 페르투베이션 프레임워크를 제안하며, 이 프레임워크에서는 페르투베이션이 원래 입력에 가까운 상태로 유지되면서 동시에 해당 입력의 라벨을 보존합니다. 우리는 이 원칙을 두 가지 감지기로 구현했습니다: 블랙박스 기반 규칙 기반 페르투베이션 라이브러리와

Async-RBench: LLM 에이전트에서 비동기 작업 실행 성능 벤치마킹

arXiv:2610.32429v1 발표 유형: 신규 초록: 대규모 언어 모델(LLM) 에이전트는 점점 더 비동기적으로 작업을 수행합니다. 주 에이전트는 하위 에이전트들이 실행되는 동안에도 계속 작업을 진행하며, 그 결과가 도착하기 전에 작업 상태가 변경될 수 있습니다. 이때 주 에이전트는 어떤 작업을 업데이트하거나 보존하고, 어떤 검사를 다시 수행할지 결정해야 하며, 동시에 금지된 변경 사항을 피해야 합니다. 최종 작업 성공 여부만으로는 이러한 결과가 올바르게 처리되었는지 여부를 확인하기 어렵고, 자연스러운 비동기적 도착 현상은 재현하기도 어렵습니다. 우리는 LLM 에이전트의 비동기적 작업 실행을 평가하는 벤치마크인 Async-RBench를 제안하며, 8가지 시나리오를 포괄하는 200개의 실행 가능한 작업을 제공합니다. 각 시나리오 컨트롤러는 미리 정의된 작업 상태 조건을 활용해 결과 전달을 관리하고, 이벤트 응답 계약(ERC)은 각 응답이 무엇을 의미하는지를 명시합니다.

열일곱 살 학생은 어떤 답을 썼을까? 여섯 개의 최첨단 언어 모델에서 나타나는 저자 연령 오인, 과대 평가된 신뢰도, 그리고 비교정적 자기 설명에 관한 행동 사례 연구

arXiv:2610.31946v1 발표 유형: 신규 초록: 세 명의 학생이 같은 시험 문제를 손으로 작성했다: “행복이란 무엇인가? 당신은 행복한가?” 수집 당시 기록된 이들의 나이는 17세, 28세, 45세이다. 열일곱 살 학생의 답은 조심스럽고 형식적으로 표현되어 있다. 각 답안을 나이와 성별 라벨에 맞추도록 요청했을 때, 대부분의 최첨단 언어 모델은 이를 성인에게 확신을 가지고 배정한다. 본 논문은 Claude Fable 5, Gemini 3.1 Pro, GPT-5.6 Sol, Grok 4.5, GPT-4o (2024), 그리고 DeepSeek V4 등 여섯 개 모델에서 발생한 이러한 실패를 구조화된 사례 연구로 보고한다. 우리는 프레임 설정, 공개 형식, 그리고 청중 인식 지침을 조작하는 여섯 가지 실험 조건 하에 1,081회의 API 세션을 진행하고, 총 3,225개의 응답을 점수화하였다. 여섯 개 모델 중 세 개는 매칭 과제에서 우연 수준(1/3)에 근접하거나 그에 가까운 성과를 보이는 반면, 73~88%의 정확도를 보고한다.

당신은 개를 얼마나 신뢰하십니까? 추론 언어 모델에서 힌트 따르기의 정량화

arXiv:2610.32055v1 발표 유형: 신규 초록: 대규모 언어 모델(LLMs)은 종종 아첨하는 경향을 보이며, 객관적 사실 및 추론 과제에서도 사용자의 제안에 맞춰 답변을 수정합니다. 그러나 이러한 영향의 정량적 형태와 그것이 출처의 신뢰성에 따라 조정되는지 여부는 아직 잘 이해되지 않고 있습니다. 본 연구에서는 MMLU 질문들에 대해 힌트로 유도된 답변 변화를 통해 이러한 행동을 탐구하며, “[출처]는 답이 (X)라고 생각한다”와 같은 형식의 프롬프트를 평가합니다. 우리는 힌트가 부여되는 출처(교수, 친구 또는 개)를 세 가지 오픈소스 모델 계열인 Qwen, Gemma, SmolLM에서 체계적으로 변경하여 실험을 수행했습니다. 그 결과, 힌트에 의해 유발된 변화는 지수적 기울기로 잘 특징지어지는 예측 가능한 구조를 따른다는 것을 보여줍니다: 힌트는

AI-포-사이언스 에이전트는 모델의 안전성을 보장할 수 있을까?

arXiv:2610.32045v1 발표 유형: 신규 초록: AI-포-사이언스 에이전트는 과학적 가설을 제시하고, 자율 실험을 수행하며, 증거를 해석하는 데 점점 더 널리 활용되고 있습니다. 이러한 에이전트들은 도메인 특화형 에이전트 하네스에 대규모 언어 모델(LLM)을 통합하여 구축되며, 이는 LLM의 과학적 역량을 향상시키고 모델이 과학적 도구들을 조율할 수 있도록 합니다. 본 연구에서는 LLM이 AI-포-사이언스 에이전트 하네스에 통합될 때 모델의 안전성이 유지되는지 여부를 검토합니다. 우리는 50개의 유해한 화학 관련 요청에 대해 다섯 가지 에이전트 하네스를 평가합니다. 구체적으로, 직접 프롬프팅, 두 가지 간단한 적대적 프롬프팅 전략, 그리고 적응형 공격 하에서 안전성 행동이 어떻게 변화하는지를 분석합니다. 최근 출시된 GPT의 네 가지 변종을 대상으로 한 결과는 다음과 같습니다.

LLM 평가에서 전체 F1 점수만을 사용해 자동 채점기를 검증하는 것은 오해를 유발할 위험이 있다: 새로운 연구는 구체적인 프롬프트 차이에 맞춰 검증해야 함을 강조한다

arXiv 논문(2610.31678v1)은 대화형 대규모 언어 모델 평가에서 자동 채점 도구의 전체 정확도나 F1 점수에만 의존하면 프롬프트 특이적 오류가 가려져 프롬프트 효과에 대한 잘못된 판단을 초래할 수 있다고 지적한다. 실증 분석에 따르면, 동일한 채점 도구가 서로 다른 프롬프트에서 보이는 위양성률은 2.6%에서 33.3%로 크게 차이 나며, 겉보기로 유의미한 9.3점의 효과도 두 개의 LLM 심사 하에서는 2.3점으로 축소되고 통계적으로 유의미하지 않게 된다.

추천 이유：이 연구는 실제 실험 데이터(6개의 모델, 180개의 가상 개체 질문, 6가지 프롬프트 조건)를 기반으로 하며, 현재 LLM 평가에서 널리 존재하는 방법론적 취약점을 밝혀냈습니다—즉, 스코어러의 전반적인 성능을 핵심 비교 과제에서의 신뢰성과 동일시하는 문제입니다. 핵심 주장(각 프롬프트를 별도로 검증하고 불확실성을 반영해야 한다는 점)은 명확한 실증적 근거와 실행 가능한 권고안을 바탕으로 하며, 발표 시점(2026년 10월 26일)과 출처의 신뢰성(arXiv 사전출판 플랫폼) 측면에서도 높은 시의성을 갖습니다.

대규모 언어 모델 기반 에이전트의 행동 분석

arXiv:2610.32087v1 발표 유형: 신규 초록: 언어-에이전트의 행동을 이해하려면, 행동이 경로 전반에 걸쳐 어떻게 구성되는지와 이러한 구성이 맥락 및 결과와 어떤 관계를 맺는지를 파악해야 합니다. 우리는 데이터 기반 행동 발견과 분석 및 실험적 조사를 연결하는 일반적인 프레임워크를 제안합니다. 기록된 활동에서 도출된 범주는 무엇을 측정할지를 정의합니다. 분석은 행동들이 과정 내에서 차지하는 위치를 유지하고, 그 관계를 해석 가능한 가설로 표현합니다. 보류된 맥락에서의 통계적 평가와 검증을 통해 증거의 강도와 범위를 검토합니다. 이후 프롬프트 조정을 포함한 실험을 통해, 의도적으로 변화시킨 조건 하에서 행동과 결과가 어떻게 달라지는지를 확인합니다. 반복적 자기성찰에 대한 연구는 어떻게

도구 강화형 언어 모델의 프롬프트 민감성 연구: 도구는 정확도를 향상시키지만 표현 차이의 영향을 심화시킨다

2026년 10월 24일 arXiv 플랫폼에 게재된 연구(번호 2610.31148v1)는 도구 강화 환경 하에서 여섯 가지 오픈소스 언어 모델이 다섯 가지 분야와 다섯 가지 질문 표현 방식에 대해 비교한 결과, 대비 안정성이 향상되지 않았음을 지적했다. 오히려 도구가 프로그램이 답변할 수 있는 문제의 정확도를 높였음에도 불구하고, 문구의 차이에 따른 모델 순위 변동의 민감성은 확대되었다.

추천 이유：이 연구는 새롭게 설계된 매칭 프로토콜을 활용하여, 도구 호출 전 과정의 핵심 단계들(예: 호출 결정, 도구 응답, 무호출 보고 등)을 분리함으로써, ‘정확도 향상’이 반드시 ‘보다 안정적인 비교’를 의미하지 않음을 실증적으로 규명하고, 인터페이스 설계와 명령어 세부사항이 민감도 수준을 유의미하게 조절함을 지적함으로써 모델 평가 실무에 직접적인 지침 가치를 제공한다.

연구에 따르면 다국어 평가에서 ‘대규모 모델이 심판 역할을 하는’ 효과는 심판 모델의 선택에 크게 의존하는 것으로 나타났다.

2026년 10월 24일 arXiv에 게재된 다국어 실증 연구에 따르면, 현재 주류를 이루는 프롬프트 전략(예: 사고 체인, 역할 설정)은 LLM-as-a-Judge 환경에서 모델 간 및 언어 간 이전성이 결여되어 있으며, 심판 모델의 선택이 프롬프트 전략 자체보다 훨씬 더 큰 영향을 미치며, 심지어 전략의 효과가 서로 다른 심판 모델 간에서 방향성이 뒤바뀌는 현상까지 나타난다고 밝혀졌다.

추천 이유：이 연구는 최초로 9가지 힌트 전략, 4개의 오픈소스 평가 모델, 27개 언어 및 13개 데이터셋 간의 상호작용 효과를 체계적으로 측정했으며, 인공 검증을 거친 100만 건 이상의 점대점 평가 결과를 도출해 영어 중심의 힌트 연구와 고정 템플릿 기반 다국어 연구 사이의 중요한 공백을 메웠다.