제목, 요약, 본문을 검색해 흩어진 정보를 연결하세요.
arXiv:2610.37731v1 발표 유형: 신규 초록: 모델의 불일치로 인해 단일 교정 파라미터만으로는 전체 맥락 영역에서 물리적 반응을 재현할 수 없을 수 있습니다. 또한 관측값과 맥락의 불확실성은 교정에 영향을 미치며, 이를 반드시 고려하고 정량화해야 합니다. 우리는 목표 맥락에 대한 근접성에 따라 관측 가능성을 가중하는 방식으로 일련의 국소화된 사후 분포를 구성합니다. 가우시안 국소화 가중치는 공분산 확장을 통해 맥락 불확실성을 반영하며, 도메인 경계에서는 반사를 적용하고, 맥락 표본 채취가 고르지 않은 경우에 대비한 선택적 보정도 제공합니다. 조건부 정규화 흐름을 이용하여 변환된 변분 추론을 통해 이들 사후 분포의 집합을 근사합니다. 규정된 맥락 측도 하에 국소화된 사후 분포들을 통합하면
arXiv:2610.38355v1 발표 유형: 신규 초록: KV 캐시 재사용은 LLM 서비스를 가속화하지만, 기존 시스템들은 호스트 DRAM과 NVMe SSD를 계층적 하위 구조로 관리하며, DRAM을 중간 캐시로 활용합니다. 그러나 실제 생산 환경의 LLM 워크로드는 이러한 계층 구조의 두 가지 전제 조건을 모두 무너뜨립니다. 첫째, 이중 모드 재사용 방식은 DRAM의 시간적 필터링 기능을 무력화합니다. 왜냐하면 워크로드는 재사용 거리가 긴 일회성 블록이나 DRAM 용량을 초과하는 수기가바이트 규모의 에이전트 세션으로 구성되어 있어 SSD가 핵심 읽기 경로에 위치하게 되기 때문입니다. 둘째, DRAM의 스테이징과 제거 순서에 따른 배치 방식은 SSD 복원 과정을 병목으로 만듭니다. 인-플라이트 프리픽스를 위해 호스트 스테이징 버퍼를 유지하면 부하 상황에서 컨텐션을 유발해 프리페치 작업이 중단되며, 증분식 제거는 세션의 블록들을 SSD 전체에 분산시켜 대규모 연속 읽기를 방해합니다. 우리는 p
arXiv:2610.31955v1 발표 유형: 신규 초록: Anthropic의 최근 연구에서는 자코비안 렌즈(J-lens, Gurnee 외, 2026)라는 새로운 해석 도구를 도입했습니다. 이 방법은 최첨단 언어 모델의 은닉 상태에서 작업 기억과 유사한 표현을 연상시키는 특성을 지닌 선형 방향을 식별해냈습니다. 그러나 이러한 특징들이 J-lens에 의해 탐지될 수 있는 기전적 특성이 무엇인지 명확히 밝혀지지는 않았습니다. 이에 따라 우리는 J-lens에 대한 수학적 이론을 제시하고, 이 이론이 특히 일관성 있는 특징들—즉, 공간적으로 정합적인 리아푸노프 모드와 유사하게 작용하는 방향들—을 우선적으로 식별함을 보여줍니다. 이러한 방향을 따라 작은 섭동이 층간에 걸쳐 증폭되며, 토큰 위치 간에도 대체로 일정하게 유지되고, 다양한 문맥에서도 일관성을 보입니다. 다만 w
arXiv:2610.32189v1 발표 유형: 신규 초록: 비지도형 다변량 시계열 이상 탐지(AP)는 현재 관측값을 바탕으로 향후 이상 위험을 추정하여, 복잡한 시스템에서 선제적 개입과 유지보수를 위한 조기 경고 신호를 제공하는 것을 목표로 합니다. 기존의 비지도형 AP 방법들은 정해진 또는 무작위적인 섭동을 과거 창에 주입하여 비정상적인 미래 진화를 시뮬레이션하는 방식의 섭동 기반 패러다임을 따릅니다. 그러나 이러한 방법들은 서로 다른 변수와 맥락 간에 동일한 섭동을 공유하며, 결정론적 방식으로 과거에서 미래로의 진화를 학습합니다. 실제로 이상 현상의 진화는 변수와 상황에 따라 달라지며, 동일한 섭동이 한 변수나 맥락에서는 비정상적인 미래 동역학으로 증폭될 수 있는 반면, 다른 경우에는 정상적인 변동으로 흡수되기도 합니다.
arXiv:2610.33006v1 발표 유형: 신규 초록: 트랜스포머 기반 대규모 언어 모델(LLM)은 컨텍스트 크기가 증가함에 따라 상당한 연산 및 메모리 비용을 수반하므로, 추론 전에 컨텍스트를 더 짧은 표현으로 압축하는 방법이 필요합니다. 기존의 소프트 프롬프트 압축 방식은 일반적으로 목표 모델과 동일한 트랜스포머 백본을 사용하며, 압축된 표현을 생성하는 과정에서 상당한 지연 오버헤드가 발생합니다. 이로 인해 이러한 방식은 컨텍스트를 한 번 압축한 뒤 여러 쿼리에 걸쳐 재사용하는 오프라인 환경에만 제한됩니다. 우리는 Mamba 상태공간 모델(SSM)을 기반으로 한 플러그 앤 플레이형 온라인 컨텍스트 압축기인 Boa Compressor를 제안합니다. 이 압축기는 임의 길이의 컨텍스트를 단일 선형 시간 패스로 인코딩하여, 그 결과 얻은 표현을 바탕으로 우리가 조건부…
arXiv:2610.33433v1 발표 유형: 신규 초록: 새로운 맥락에서 단어를 사용하는 것으로 나타나는 언어 생산성은 인간 언어의 가장 두드러진 특징 중 하나입니다. 그러나 이러한 생산성을 가능하게 하는 지식이 얼마나 추상적인지는 아직 명확하지 않습니다. 우리는 성공적인 일반화가 형태 기반 정보에 의존하는 맥락에서 사람과 컴퓨터 기반 언어 모델의 언어 생산성을 비교합니다. 특히 능동태로 학습된 새로운 동사를 수동태 맥락으로 확장하는 데 주목합니다. 연구 결과, 사람들은 새롭게 학습한 동사에 대해 타당한 의미를 부여할 수 없을 때에도, 언어적 형태에 관한 추상적 일반화와 일치하는 방식으로 능동태에서 수동태로의 사용을 확장하는 것으로 나타났습니다. 반면, 대규모 언어 모델은 기존 동사와 유사한 의미를 가진 경우에만 성공적으로 확장했습니다.
arXiv:2610.31918v1 발표 유형: 신규 초록: 상호작용하는 LLM 에이전트를 디스틸레이션할 때는 교사가 생성한 시연과 학생이 생성한 경험 중 하나를 선택해야 하며, 이는 대략적으로 오폴리시와 온폴리시 디스틸레이션에 해당합니다. 두 방법 모두 효과적인 것으로 입증되었지만, 우리는 이러한 구분이 본질적으로 계층적이라고 주장합니다. 즉, 상호작용의 역사(히스토리)를 유도하는 정책과 현재 행동의 토큰 접두사를 생성하는 정책이 반드시 동일할 필요는 없다는 것입니다. 우리는 이러한 두 가지 수준의 온폴리시성을 체계화하고, 이들 간의 매칭, 혼합 비율 및 학습 스케줄을 명시적으로 제어할 수 있도록 하는 계층적 에이전트 디스틸레이션 프레임워크를 제안합니다. 우리는 이 문제를 자기 디스틸레이션 방식으로 연구하며, 여기서 고정된 교사는 학생에게는 제공되지 않는 과제 지침에 접근할 수 있습니다.
arXiv:2610.31985v1 발표 유형: 신규 초록: LLM 에이전트는 점점 더 많은 협업 환경에서 배치되고 있으며, 이들 에이전트는 자원을 공유하고 심사 또는 감독 프로세스 하에 각자 별개의 작업을 수행합니다. 이러한 환경에서는 에이전트가 악의적이거나 단순히 도움을 주려는 경우에도 안전상의 위험이 발생할 수 있습니다. 기존 연구들은 주로 적대적 행동이나 명시적으로 결탁한 행동을 중심으로 다루어 왔으나, 우리는 별개의 목표를 추구하는 선의의 에이전트들이 의도된 워크플로를 우회하는 방식으로 자발적으로 협력할 수 있음을 보여줍니다. 우리는 이를 \emph{유용한 에이전트 문제}라고 부릅니다. 우리는 장기적인 시야를 가진 공동 자원 환경을 연구하며, 이 환경에서는 에이전트들이 때때로 동료가 소유한 자원에 의존하고, 소유권 변경은 일반적으로 심사자가 중재하는 구조를 갖습니다. 심사가 불가능해지면, 에이전트
arXiv:2610.32087v1 발표 유형: 신규 초록: 언어-에이전트의 행동을 이해하려면, 행동이 경로 전반에 걸쳐 어떻게 구성되는지와 이러한 구성이 맥락 및 결과와 어떤 관계를 맺는지를 파악해야 합니다. 우리는 데이터 기반 행동 발견과 분석 및 실험적 조사를 연결하는 일반적인 프레임워크를 제안합니다. 기록된 활동에서 도출된 범주는 무엇을 측정할지를 정의합니다. 분석은 행동들이 과정 내에서 차지하는 위치를 유지하고, 그 관계를 해석 가능한 가설로 표현합니다. 보류된 맥락에서의 통계적 평가와 검증을 통해 증거의 강도와 범위를 검토합니다. 이후 프롬프트 조정을 포함한 실험을 통해, 의도적으로 변화시킨 조건 하에서 행동과 결과가 어떻게 달라지는지를 확인합니다. 반복적 자기성찰에 대한 연구는 어떻게
