AI 뉴스 검색

노출은 약속이 아니다: 도구 사용 에이전트를 위한 잠재적 모니터의 이중 계층 평가

arXiv:2610.37679v1 발표 유형: 신규 요약: 도구를 사용하는 언어 에이전트는 간접적인 프롬프트 주입에 취약하며, 점점 늘어나는 연구들은 모델 내부를 분석하여 안전하지 않은 행동이 실행되기 전에 이를 포착하려고 시도하고 있지만, 그 결과는 매우 상반됩니다. 우리는 이러한 갈등의 대부분이 평가 과정에서 발생하는 오류 때문이라고 주장하며, 평가와 학습 집단 모두에서 주입 노출과 행동적 약속을 분리하는 이중 계층화 프로토콜을 제안합니다. 주요 Qwen AgentDojo 그리드에서, 무지한 상태로 불안전한 행동과 나머지 행동을 혼합한 대조를 기반으로 학습된 모니터들은 대부분 노출을 인식하는 방식으로 학습됩니다. 즉, 에이전트가 실제로 행동을 따르든 아니든 노출된 경로를 표시하며, 어떤 경우에 안전하지 않은 행동으로 이어지는지 거의 예측하지 못합니다. 노출된 사례들만을 대상으로 재학습한 동일한 탐지 계열은 모델 자체가 수행하는 안전하지 않은 도구 호출을 최대 2초 전까지 예측할 수 있습니다.

블로킹 없는 감시: 협력형 런타임을 위한 OTP 스타일의 장애 허용성에 대한 증거 기반 재설계

arXiv:2610.34521v1 발표 유형: 신규 초록: 주류 런타임의 액터 프레임워크들은 Erlang/OTP 스타일의 감시를 표방하지만, OTP의 일관성 계약은 동기식 단일 스레드 감시자를 전제로 하고 있으며, 포트 역시 이러한 가정이 결여된 상태를 검토되지 않은 위험으로 수용하고 있다. 우리는 모든 감시 보장 사항을 고정된 버전의 OTP 문서와 소스 코드를 그대로 해석한 결과, 추가로 세 가지 루스트 액터 프레임워크의 소스 코드를 기준으로, 그리고 액터 모델 관련 문헌과 비교하여 평가하였으며, 각 설계 결정의 근거를 기록하였다. 맹목적인 대립 심사와 프레임워크 간 비교 연구를 통해 24개의 결함 유형이 도출되었고, 이 중 여덟 개는 하나의 근본 원인으로 귀착된다: 즉, 동기식 감시자가 암묵적으로 확보하는 원자성을 명시적 메커니즘을 통해 재구성해야 한다는 점이다. 우리는 감시 런타임을 도입한다…

사람과 대규모 언어 모델에서의 형태 기반 언어 생산성 검토

arXiv:2610.33433v1 발표 유형: 신규 초록: 새로운 맥락에서 단어를 사용하는 것으로 나타나는 언어 생산성은 인간 언어의 가장 두드러진 특징 중 하나입니다. 그러나 이러한 생산성을 가능하게 하는 지식이 얼마나 추상적인지는 아직 명확하지 않습니다. 우리는 성공적인 일반화가 형태 기반 정보에 의존하는 맥락에서 사람과 컴퓨터 기반 언어 모델의 언어 생산성을 비교합니다. 특히 능동태로 학습된 새로운 동사를 수동태 맥락으로 확장하는 데 주목합니다. 연구 결과, 사람들은 새롭게 학습한 동사에 대해 타당한 의미를 부여할 수 없을 때에도, 언어적 형태에 관한 추상적 일반화와 일치하는 방식으로 능동태에서 수동태로의 사용을 확장하는 것으로 나타났습니다. 반면, 대규모 언어 모델은 기존 동사와 유사한 의미를 가진 경우에만 성공적으로 확장했습니다.

FlexA-Mem: LLM 에이전트를 위한 예산-적응형 에이전틱 메모리

arXiv:2610.33274v1 발표 유형: 신규 초록: 대규모 언어 모델(LLM) 에이전트는 매우 다양한 메모리 요구 사항을 갖는 시나리오에서 작동합니다. 과거 대화에 관한 질문에는 해당 질문이 명시한 정확한 사실이 필요하며, 다단계 작업에서는 이미 수행된 단계들의 흐름과 다음 단계에서 명시할 수 없는 세부 정보가 함께 필요합니다. 기존의 메모리는 각각 특정한 시나리오에 맞춰 설계되고 검증되어 왔습니다. A-Mem과 같은 검색형 메모리는 현재 쿼리에서 표현되지 않은 단계들을 놓치고, 요약은 정확한 문자열을 잃어버리며, 두 가지를 결합하는 방식은 예산 분할 문제를 미리 고정해 버립니다. 우리는 FlexA-Mem을 제안합니다. 이는 모든 역사적 기록을 불변 저장소에 한 번씩 기록하고, 매 호출마다 새로운 메모리를 생성하는 범용 메모리입니다. 생성된 메모리는 기록의 간결한 타임라인과 고정된 규칙에 따라 처리되는 세부 정보로 구성됩니다.

케빈 루스는 AGI에 사로잡혔다. 당신은 왜 그렇지 않은가?

오늘은 AI 산업의 최근 급격한 변화를 상세히 다룬 신간 『AGI 연대기』의 저자이자 기자인 케빈 루스와 이야기를 나눕니다. 케빈은 오랜 기간 뉴욕타임스의 기자로 활동해 왔으며, 인기 팟캐스트 ‘하드 포크’의 진행자이기도 합니다. 그러나 그는 이 프로그램의 친구인 케이시 뉴턴과 함께 최근 […]을 떠났습니다.

자연어 자동 인코더는 대규모 모델의 활성화 차이를 효과적으로 언어화하여, 모델 간 차이 분석과 해석 가능성 연구를 지원합니다.

2026년 10월 24일 arXiv에 게재된 한 논문(arXiv:2610.30934v1)은 자연어 자동 인코더(NLAs)의 활성 공간 차원 표현에 대한 일반화 능력을 체계적으로 평가했으며, 실험을 통해 이들이 조합성, 미세조정 모델 적응, 미세조정 목표 복원 및 모델 차원 전문화의 네 가지 측면에서 안정적인 성능을 보임을 입증했다.

추천 이유：이 연구는 네 가지 재현 가능한 실험 설계를 기반으로 하며, 세 개의 가족에 속한 네 개의 대형 언어 모델을 포괄하여, 베럴리제이션이라는 새로운 해석 가능성 연구 분야에서 지금까지 가장 체계적인 일반화 증거를 제시한다. 모든 결론은 논문에서 보고된 실험 설정과 관찰 결과에 엄격히 한정되며, 테스트되지 않은 모델 규모나 과제로는 외삽되지 않는다.