제목, 요약, 본문을 검색해 흩어진 정보를 연결하세요.
arXiv:2610.37731v1 발표 유형: 신규 초록: 모델의 불일치로 인해 단일 교정 파라미터만으로는 전체 맥락 영역에서 물리적 반응을 재현할 수 없을 수 있습니다. 또한 관측값과 맥락의 불확실성은 교정에 영향을 미치며, 이를 반드시 고려하고 정량화해야 합니다. 우리는 목표 맥락에 대한 근접성에 따라 관측 가능성을 가중하는 방식으로 일련의 국소화된 사후 분포를 구성합니다. 가우시안 국소화 가중치는 공분산 확장을 통해 맥락 불확실성을 반영하며, 도메인 경계에서는 반사를 적용하고, 맥락 표본 채취가 고르지 않은 경우에 대비한 선택적 보정도 제공합니다. 조건부 정규화 흐름을 이용하여 변환된 변분 추론을 통해 이들 사후 분포의 집합을 근사합니다. 규정된 맥락 측도 하에 국소화된 사후 분포들을 통합하면
arXiv:2610.31955v1 발표 유형: 신규 초록: Anthropic의 최근 연구에서는 자코비안 렌즈(J-lens, Gurnee 외, 2026)라는 새로운 해석 도구를 도입했습니다. 이 방법은 최첨단 언어 모델의 은닉 상태에서 작업 기억과 유사한 표현을 연상시키는 특성을 지닌 선형 방향을 식별해냈습니다. 그러나 이러한 특징들이 J-lens에 의해 탐지될 수 있는 기전적 특성이 무엇인지 명확히 밝혀지지는 않았습니다. 이에 따라 우리는 J-lens에 대한 수학적 이론을 제시하고, 이 이론이 특히 일관성 있는 특징들—즉, 공간적으로 정합적인 리아푸노프 모드와 유사하게 작용하는 방향들—을 우선적으로 식별함을 보여줍니다. 이러한 방향을 따라 작은 섭동이 층간에 걸쳐 증폭되며, 토큰 위치 간에도 대체로 일정하게 유지되고, 다양한 문맥에서도 일관성을 보입니다. 다만 w
arXiv:2610.32189v1 발표 유형: 신규 초록: 비지도형 다변량 시계열 이상 탐지(AP)는 현재 관측값을 바탕으로 향후 이상 위험을 추정하여, 복잡한 시스템에서 선제적 개입과 유지보수를 위한 조기 경고 신호를 제공하는 것을 목표로 합니다. 기존의 비지도형 AP 방법들은 정해진 또는 무작위적인 섭동을 과거 창에 주입하여 비정상적인 미래 진화를 시뮬레이션하는 방식의 섭동 기반 패러다임을 따릅니다. 그러나 이러한 방법들은 서로 다른 변수와 맥락 간에 동일한 섭동을 공유하며, 결정론적 방식으로 과거에서 미래로의 진화를 학습합니다. 실제로 이상 현상의 진화는 변수와 상황에 따라 달라지며, 동일한 섭동이 한 변수나 맥락에서는 비정상적인 미래 동역학으로 증폭될 수 있는 반면, 다른 경우에는 정상적인 변동으로 흡수되기도 합니다.
arXiv:2610.33006v1 발표 유형: 신규 초록: 트랜스포머 기반 대규모 언어 모델(LLM)은 컨텍스트 크기가 증가함에 따라 상당한 연산 및 메모리 비용을 수반하므로, 추론 전에 컨텍스트를 더 짧은 표현으로 압축하는 방법이 필요합니다. 기존의 소프트 프롬프트 압축 방식은 일반적으로 목표 모델과 동일한 트랜스포머 백본을 사용하며, 압축된 표현을 생성하는 과정에서 상당한 지연 오버헤드가 발생합니다. 이로 인해 이러한 방식은 컨텍스트를 한 번 압축한 뒤 여러 쿼리에 걸쳐 재사용하는 오프라인 환경에만 제한됩니다. 우리는 Mamba 상태공간 모델(SSM)을 기반으로 한 플러그 앤 플레이형 온라인 컨텍스트 압축기인 Boa Compressor를 제안합니다. 이 압축기는 임의 길이의 컨텍스트를 단일 선형 시간 패스로 인코딩하여, 그 결과 얻은 표현을 바탕으로 우리가 조건부…
