제목, 요약, 본문을 검색해 흩어진 정보를 연결하세요.
arXiv:2610.33019v1 발표 유형: 신규 초록: 다중 모달 에이전트가 지속적인 상호작용을 수행할 때, 장기 기억은 세부적 증거 회수와 전반적 이해를 위한 내재화된 해석이라는 두 가지 서로 다르지만 상호 보완적인 기능을 수행한다. 비록 일화 기억과 잠재 기억이 각각 명시적 역사 기록과 내재화된 경험을 통해 이러한 요구를 충족하긴 하지만, 일화 기억의 증거 범위와 통합에 대한 한계, 그리고 잠재 기억의 사실적 근거 마련에 대한 한계로 인해, 어느 한 패러다임만으로는 과제 간의 다양한 기억 특성들을 모두 포괄하기 어렵다. 이러한 격차를 해소하기 위해 우리는 모델 고유의 잠재 기억을 직관적인 사전으로 활용하고, 검색 조건에 따라 공동 정렬을 통해 정확한 증거 재구성을 가능하게 하는 다중 인덱스 기반 일화 기억을 결합한 이중 기억 프레임워크를 제안한다. At i
arXiv:2610.34436v1 발표 유형: 신규 초록: 루프형 언어 모델은 토큰당 레이어 블록을 $R$번 실행하므로, 해당 모델의 키-값(KV) 캐시는 각 반복 레이어마다 $R$개의 평면을 저장하며, 자기-투기적 디코딩(몇 개의 루프로 초안을 생성하고 $R$개 모두로 검증)에서는 이 모든 평면을 읽어들입니다. 우리는 접두사 키와 값이 후반부에서 중요한 역할을 한다는 점을 발견했습니다. 동일한 섭동 크기에서도, 루프 25~32는 루프 2~9에 비해 $e^{15.0}$(Huginn-0125) 및 $e^{12.8}$(Raven-Llama) 배 더 민감하며, 각 루프마다 평면들은 기하급수적으로 마지막 평면에 접근하여, 각각 0.88과 0.81에 도달합니다. 이때 가장 깊은 평면 하나만으로 충분한지 여부는 후반부 평면들이 얼마나 성숙했는지에 따라 달라집니다. Raven에서는 이를 저장하는 것만으로도 bf16에서 fp32로 변경한 경우와 구별되지 않으며, Huginn에서는 전체 오차의 74%를 단 1%의 위치가 차지합니다. 우리는 이를 RIPE로 발전시켰으며, RIPE는 가장 깊은
arXiv:2610.32177v1 발표 유형: 신규 초록: 인간은 문제의 전개 과정에서 다양한 추론 방식을 유연하게 결합함으로써 물리적 세계에 대해 추론합니다. 이러한 유연성을 구현하는 것은 AI 분야의 주요한 미해결 과제로, 기능들이 종종 각각의 전문 모델들로 분리되어 있어 이를 어떻게 조합하고 특정 작업에 맞춰 공동으로 적응시킬 수 있는지에 대한 한계가 존재합니다. 우리는 $\Psi$-0.6을 제안하며, 이는 시각과 언어를 통합한 세계 모델로서, 사고 흐름이라 부르는 공유된 추론 프로세스 내에서 지각, 언어, 기하학 및 시뮬레이션을 적응적으로 구성합니다. 이러한 사고 흐름들은 이미지, 텍스트, 그리고 기하학과 운동에 대한 명시적 표현을 서로 교차하여 처리하며, 모든 요소는 공유된 토큰 인터페이스를 통해 모델이 생성하고 해석할 수 있습니다. $\Psi$-0.6은 다중 뷰 공간 문제에 대해 제로샷 성능에서 선도적인 오픈 웨이트 모델들을 능가합니다.
arXiv:2610.31721v1 발표 유형: 신규 초록: 비용이 많이 드는 평가와 복잡한 제약 조건 하에서 고차원 물리 시스템을 최적화하는 문제는 과학과 공학 분야의 핵심 과제입니다. 오프라인 모델 기반 최적화(MBO)에서는, 테스트 시간에 실제 목적 함수에 접근할 수 없으며 고정된 데이터 세트만을 사용하여 설계를 개선해야 합니다. 그러나 기존 방법들은 일반적으로 보수성, 제약 없는 대리모델 활용, 또는 정밀한 물리적 목표에 맞춰 후보를 정교하게 개선하지 못하는 정적인 추론 시점 샘플러로 작동하는 등의 한계를 지니고 있습니다. 본 논문에서는 오프라인 MBO를 위한 미분 가능한 확산 조건부 학습(D2C)을 제안합니다. 이 방법은 결정론적 샘플링이 역 노이즈 체인을 조건부 신호에 대해 미분 가능하게 만든다는 점을 활용합니다. D2C는 …
arXiv:2610.31894v1 발표 유형: 신규 요약: 최근의 희소 자동부호기(SAE)는 대규모 언어 모델(LLM)의 표현을 해석 가능한 특징으로 분해하여, 인코딩된 지식을 정밀하게 읽어내고 제어할 수 있도록 합니다. 그러나 기존 SAE는 각 특징을 독립적인 단위로 취급하는 반면, 실제 세계의 지식은 종종 계층적으로 분류되어 있습니다. 그 결과, 읽어내기 과정에서는 분류학적 일관성이 보장되지 않으며, 제어 또한 수정 범위를 구체적으로 지정할 만큼 세분화되지 못합니다. 이에 우리는 TaxoSAE를 제안합니다. TaxoSAE는 is-a(상위-하위 관계)를 기반으로 한 분류학적 정보를 SAE의 특징 공간에 명시적으로 인코딩합니다. TaxoSAE는 각 분류 수준마다 하나씩 구성된 여러 개의 SAE로 이루어진 계층적 구조를 모사하며, 특정 개념이 활성화될 때마다 해당 개념이 작동하도록 학습시키는 분류학적 정렬 손실을 도입합니다.
