AI 뉴스 검색

FlatCake: LLM 서비스를 위한 평면형 KV캐시 저장 아키텍처

arXiv:2610.38355v1 발표 유형: 신규 초록: KV 캐시 재사용은 LLM 서비스를 가속화하지만, 기존 시스템들은 호스트 DRAM과 NVMe SSD를 계층적 하위 구조로 관리하며, DRAM을 중간 캐시로 활용합니다. 그러나 실제 생산 환경의 LLM 워크로드는 이러한 계층 구조의 두 가지 전제 조건을 모두 무너뜨립니다. 첫째, 이중 모드 재사용 방식은 DRAM의 시간적 필터링 기능을 무력화합니다. 왜냐하면 워크로드는 재사용 거리가 긴 일회성 블록이나 DRAM 용량을 초과하는 수기가바이트 규모의 에이전트 세션으로 구성되어 있어 SSD가 핵심 읽기 경로에 위치하게 되기 때문입니다. 둘째, DRAM의 스테이징과 제거 순서에 따른 배치 방식은 SSD 복원 과정을 병목으로 만듭니다. 인-플라이트 프리픽스를 위해 호스트 스테이징 버퍼를 유지하면 부하 상황에서 컨텐션을 유발해 프리페치 작업이 중단되며, 증분식 제거는 세션의 블록들을 SSD 전체에 분산시켜 대규모 연속 읽기를 방해합니다. 우리는 p

INC-MoE: 전문가 병렬 혼합-전문가 추론을 위한 네트워크 내 집단 수렴과 전문가 계산의 중복 처리

arXiv:2610.36339v1 발표 유형: 신규 초록: 전문가 병렬 혼합-전문가(MoE) 서비스에서 디스패치는 토큰을 해당 토큰이 선택한 전문가를 호스팅하는 가속기로 이동시키고, 결합은 각 토큰의 소유자에게 전문가 출력을 다시 모아줍니다. 두 작업 모두 핵심 경로에 위치해 다노드 배포 환경에서 MoE 레이어의 지연 시간을 주도할 수 있습니다. 우리는 INC-MoE를 제안합니다. 이는 디스패치와 결합 작업을 네트워크 스위치로 오프로드하고, 두 집단 수렴을 서로 및 전문가 계산과 겹치도록 설계된 전문가 병렬 MoE 레이어입니다. 디스패치는 스위치 측 멀티캐스트를 통해 네트워크 내 AllGather를 사용하며, 결합은 스위치 측 감축을 통해 네트워크 내 ReduceScatter를 사용합니다. 두 집단 수렴 모두 최종 호스트와 스위치 간의 메시지 세미틱을 활용합니다. 네트워크 내 집단 수렴은 서로 반대 방향으로 로드되기 때문에

저랭크 다중선형 분해를 통한 LLM 환각 탐지

arXiv:2610.36191v1 발표 유형: 신규 초록: 대규모 언어 모델(LLM)은 흔히 유창하지만 사실과는 맞지 않는 응답을 생성하여 그 신뢰성에 대한 우려를 불러일으킵니다. 최근의 환각 탐지기들은 점점 더 내부 표현을 활용하고 있지만, 고차원의 숨은 상태에서 유의미한 신호를 추출하는 것은 여전히 어려운 과제입니다. 기존 접근법들은 종종 선택된 활성화 값이나 풀링 기반 압축에 의존하는데, 이로 인해 트랜스포머 계층, 특징 모드 및 토큰 전반에 걸쳐 분산된 판별적 정보를 놓칠 수 있습니다. 우리는 LOTUS(Low-rank Order-statistic TUcker-based Subspace learning)를 제안합니다. 이는 환각 탐지를 위한 다중선형 저랭크 분해 프레임워크로서, LLM의 숨은 상태로부터 컴팩트한 표현을 추출하면서도 레이블에 대한 의존성을 줄여줍니다.

KORA: AI 워크로드를 위한 결정론 우선 실행 제어

arXiv:2610.35869v1 발표 유형: 신규 초록: AI 애플리케이션은 종종 추론이 필요한지 여부를 판단하기 전에 모델을 호출합니다. 이러한 기본 설정은 모호한 생성 작업에는 유용하지만, 구조화되고 결정론적이며 정책 기반, 조회 지향적이거나 직접 검증 가능한 작업에는 적합하지 않습니다. KORA는 결정론 우선 실행 제어를 도입합니다: 요청을 작업 경로로 표현하고, 먼저 결정론적 또는 구조화된 경로를 시도하며, 경로 결과를 검증하고, 텔레메트리를 기록한 뒤, 결정론적 처리로 해결되지 않을 경우에만 모델 후보 경로로 에스컬레이션하는 사전 추론 제어 계층입니다. 본 논문에서는 KORA를 결정론 우선 실행 제어 아키텍처로 소개하고, 재현 가능한 벤치마크 및 검증 워크로드에서 얻은 제한된 증거를 보고합니다. 재

프론티어 대규모 언어 모델에서의 애쉬 동조에 대한 정량적 접근

arXiv:2610.36668v1 발표 유형: 신규 초록: 애쉬 동조 실험은 최근 대규모 언어 모델(LLM)에서의 동조를 측정하는 방법으로 상당한 주목을 받고 있습니다. 기존 연구들이 LLM에서의 동조를 입증하는 데 집중해 왔다면, 우리 연구는 이 접근법에 추가적인 정량적 층을 더합니다. 우리는 프론티어 LLM을 여러 질문 세트에 대해 샘플링하는 대신, 단일 질문을 반복적으로 샘플링하여 LLM의 확률적 특성을 활용해 답변 분포를 생성합니다. 이를 통해 모델에 가공된 합의가 제시되기 전후의 답변 분포를 비교할 수 있습니다. 우리의 실험은 프론티어 LLM이 실제로 동조를 보임을 확인하며, 기존 문헌을 뒷받침하고, 분포 간 비교를 통해 추가적인 정보를 제공합니다.

야코비 렌즈에 대한 수학적 이론

arXiv:2610.31955v1 발표 유형: 신규 초록: Anthropic의 최근 연구에서는 자코비안 렌즈(J-lens, Gurnee 외, 2026)라는 새로운 해석 도구를 도입했습니다. 이 방법은 최첨단 언어 모델의 은닉 상태에서 작업 기억과 유사한 표현을 연상시키는 특성을 지닌 선형 방향을 식별해냈습니다. 그러나 이러한 특징들이 J-lens에 의해 탐지될 수 있는 기전적 특성이 무엇인지 명확히 밝혀지지는 않았습니다. 이에 따라 우리는 J-lens에 대한 수학적 이론을 제시하고, 이 이론이 특히 일관성 있는 특징들—즉, 공간적으로 정합적인 리아푸노프 모드와 유사하게 작용하는 방향들—을 우선적으로 식별함을 보여줍니다. 이러한 방향을 따라 작은 섭동이 층간에 걸쳐 증폭되며, 토큰 위치 간에도 대체로 일정하게 유지되고, 다양한 문맥에서도 일관성을 보입니다. 다만 w

클라우드의 LLM: 아키텍처, 오케스트레이션 및 추론에 관한 논의

arXiv:2610.33475v1 발표 유형: 신규 초록: 클라우드 데이터센터 전반에 걸쳐 기반 대규모 언어 모델(LLM)이 광범위하게 배치됨에 따라, 무상태 딥러닝에서 분산형 메모리 집약적 생성 워크로드로의 근본적인 패러다임 전환이 이루어지고 있다. 그러나 엄격한 서비스 수준 목표(SLO) 하에서 대규모 기반 모델을 서비스하는 과정에서는 중요한 물리적 및 시스템 병목 현상이 드러난다. 이러한 과제에는 지속적인 고대역폭 메모리(HBM) 장벽, 연산 중심의 프리필링과 메모리 대역폭 중심의 디코딩 간의 운영 비대칭성, 폭발적으로 증가하는 키-값(KV) 캐시, 부담스러운 서버리스 콜드 스타트, 그리고 하드웨어 신뢰성 취약점 등이 포함된다. 기존 문헌 리뷰들은 여전히 계층별로 분리되어 있어, 저수준 가속기 가상화와 클러스터를 서로 분리하고 있다.

리프스킬: 재귀적 LLM 에이전트를 위한 효율적인 잎 수준 행동 근거화

arXiv:2610.32412v1 발표 유형: 신규 초록: 재귀적 대규모 언어 모델(LLM) 에이전트는 분해, 실행 및 환경 피드백을 통해 장기적인 목표를 달성하는 과제를 해결한다. 그러나 원자적 하위 작업을 생성한 뒤에는, 익숙한 명령어를 실행 가능한 행동으로 변환하기 위해 다시 동일한 대규모 모델을 호출하는 경우가 많다. 우리는 고수준 계획은 과제마다 특화되어 있는 반면, 최하위 수준의 행동 구체화는 과제 간에 반복적으로 사용되며 환경에서 허용된 행동들과 비교·검증할 수 있다는 점을 관찰하였다. 이에 우리는 리프스킬(LeafSkill)을 제안한다. 이는 의미적으로 관련된 구체화 경험을 검색하고, 행동 템플릿을 현재 객체와 허용 가능한 행동에 결합하며, 경량형 1.7B 선택기를 활용해 결합된 행동을 선택하거나 변경되지 않은 하위 작업을 원래 에이전트에게 위임하는 외부 재사용 계층이다. 기술들은 외부에 남아 있다…

접두사 키와 값의 중요성은 늦게 드러난다: 루프형 언어 모델에서 자기-추론적 디코딩을 위한 RIPE 캐싱

arXiv:2610.34436v1 발표 유형: 신규 초록: 루프형 언어 모델은 토큰당 레이어 블록을 $R$번 실행하므로, 해당 모델의 키-값(KV) 캐시는 각 반복 레이어마다 $R$개의 평면을 저장하며, 자기-투기적 디코딩(몇 개의 루프로 초안을 생성하고 $R$개 모두로 검증)에서는 이 모든 평면을 읽어들입니다. 우리는 접두사 키와 값이 후반부에서 중요한 역할을 한다는 점을 발견했습니다. 동일한 섭동 크기에서도, 루프 25~32는 루프 2~9에 비해 $e^{15.0}$(Huginn-0125) 및 $e^{12.8}$(Raven-Llama) 배 더 민감하며, 각 루프마다 평면들은 기하급수적으로 마지막 평면에 접근하여, 각각 0.88과 0.81에 도달합니다. 이때 가장 깊은 평면 하나만으로 충분한지 여부는 후반부 평면들이 얼마나 성숙했는지에 따라 달라집니다. Raven에서는 이를 저장하는 것만으로도 bf16에서 fp32로 변경한 경우와 구별되지 않으며, Huginn에서는 전체 오차의 74%를 단 1%의 위치가 차지합니다. 우리는 이를 RIPE로 발전시켰으며, RIPE는 가장 깊은

매개변수형 세션 상태는 기록을 다시 재생하지 않고도 검색 의도를 복구합니다

arXiv:2610.33047v1 발표 유형: 신규 요약: 장기간 작동하는 어시스턴트는 종종 여러 번의 대화 전에 설정된 지시사항, 제약 조건 및 현재 목표를 포함한 후속 요청을 해석합니다. 따라서 핵심 과제는 단순히 문맥 길이가 아니라 검색 의도입니다. 예를 들어, “이전 구성 사용”과 같은 현재 쿼리는 관련 증거를 찾는 데 필요한 프로젝트, 엔터티, 버전 등의 용어를 생략할 수 있습니다. 장기 문맥 모델은 대화 기록을 재생하여 이러한 용어를 복구할 수 있지만, 반복적으로 이전 대화를 처리하는 비용을 부담해야 합니다. 기존의 검색 강화 생성(RAG) 방식은 비용이 더 저렴하지만, 정보가 충분한 쿼리라는 전제를 가집니다. 대화형 재작성 방식은 기록을 다시 읽거나 명시적으로 유지되는 텍스트 메모리에 의존합니다. 우리는 \emph{매개변수형 세션 상태}를 도입합니다

DirCast: 단일 스트리밍 비디오 언어 모델을 활용한 실시간 e스포츠 연출 및 해설

arXiv:2610.31734v1 발표 유형: 신규 초록: 실시간 e스포츠 중계에서는 매초마다 다음 장면을 예측하지 못한 채, 어떤 카메라를 송출할지 결정하는 디렉터와 그 선택에 대해 해설하는 캐스터가 필요합니다. 기존의 스트리밍 비디오 언어 모델은 이미 인간 디렉터가 제작한 방송에 대해서만 해설하는 능력을 학습해 왔습니다. 우리는 이러한 상황에서, 모든 선수의 원시 카메라 영상을 입력으로 받아, 과거 정보만을 바탕으로 동시에 연출과 해설을 수행해야 하는 실시간 방송 제작 환경을 연구합니다. 이에 따라, 두 가지 역할을 모두 수행하는 단일 스트리밍 비디오 언어 모델인 DirCast를 제안합니다. DirCast는 매초마다 모든 카메라 영상을 저해상도로 스캔하고, 유지 또는 전환 여부를 결정하는 디렉터 모드를 통해 언제 어디서 컷을 할지 판단한 뒤, 선택된 카메라 영상을 고해상도로 읽어들여 해설을 시작합니다. 또한, 모델의 문맥은 현재 송출된 내용과

트레이드오프를 고려한 영역 설계: 기업 고객-영업사원 배정을 위한 다목적 의사결정 시스템

arXiv:2610.31701v1 발표 유형: 신규 초록: 기업 고객의 구매 여정은 제품 경험과 마케팅뿐만 아니라 반복적인 자원 할당 결정에 의해 형성된다. B2B 시장 진출(GTM) 조직에서는 영역 설정이 어떤 계정에 영업사원의 영업 범위가 제공되는지, 어떤 영업사원-계정 관계가 유지되는지, 그리고 제한된 영업 인력의 역량이 어떻게 배분되는지를 결정한다. 그러나 이 과정은 종종 수동으로 이루어져, 기회 비교, 가치 지속성 평가, 성장, 균형, 역량 및 실행 가능성 간의 트레이드오프를 검토하기 어렵다. 우리는 기업 GTM 계획에서 트레이드오프를 고려한 고객-영업사원 배정을 위한 실용적인 의사결정 시스템을 제안한다. 이 시스템은 세 가지 구성 요소를 통합한다: 예측 신호를 결합하여 점수를 매기는 다차원 계정 가치 레이어와

GLP 네트워킹 API 사양

arXiv:2610.32583v1 발표 유형: 크로스 요약: 다중에이전트 결정론적 GLP(madGLP)는 비동기식 메시지 전달만을 통해 상호작용하는 에이전트들로서 그라스루츠 로직 프로그램(GLP)을 실행하며, 모든 발송된 메시지는 결국 전달된다는 공정한 전달을 가정합니다. 각 에이전트는 사용자의 공개키로 식별되는 개인의 스마트폰에서 실행됩니다. 그라스루츠 플랫폼은 네트워크 외에는 어떠한 글로벌 자원도 의존하지 않으므로, 에이전트들은 블루투스 저에너지, 로컬 네트워크, 그리고 NAT 뒤에서 인터넷을 통해 누구나 운영할 수 있는 렌더부 서버를 이용해 서로 연결되어야 합니다. 이러한 네트워크가 madGLP에 요구하는 바와, 네트워크가 플랫폼에 요구하는 바는 아직 명시되지 않았습니다. 우리는 madGLP 아래의 네트워킹 계층을 구체적으로 규정합니다. GLP에서 수행 가능한 모든 작업은 GLP에서 이루어지며, 이 계층은 단지

StackGen3D: 다중 시야 실루엣으로부터 안정적인 3D 블록 쌓기 생성

arXiv:2610.31803v1 발표 유형: 신규 초록: 시각적 사양을 기반으로 물리적으로 안정적인 3D 구조를 생성하려면, 객체 간의 물리적 상호작용을 고려하면서도 기하학적 모호성을 해결해야 합니다. 우리는 주어진 블록 재고와 세 개의 직교 투영 실루엣을 조건으로 하여 안정적인 블록 조립체를 생성하는 프레임워크인 StackGen3D를 제안합니다. 우리의 접근법은 두 단계로 구성됩니다. 첫째, 블록 간의 지지 관계를 모델링하고, 다양한 안정 구조의 데이터셋을 선별하기 위한 빠른 안정성 예측기로 작용하는 물리 기반 그래프 신경망(PI-GNN)을 개발합니다. 둘째, 이 데이터셋을 바탕으로 조건부 흐름 일치 모델을 학습하여, 목표 실루엣과 일치하는 블록 배치의 다모드 분포를 포착합니다. 추론 시에는 가벼운

연구에 따르면, 활성화 간섭은 도구 사용 모델에서 조건의 재사용을 어렵게 만드는 것으로 나타났다.

해당 논문은 2026년 10월 26일에 arXiv(번호 2610.31686)에 게재되었으며, Qwen3.5-27B 모델을 기반으로 시간 또는 권한에 따라 자격을 판단하는 도구 사용 과제에서 활성화 간섭이 ‘조건 재사용’ 능력에 미치는 영향을 체계적으로 분석하였다. 실험 결과, 간섭은 목표 선택 정확도를 유의미하게 향상시켰지만, 사실과 식별자 재조합 시나리오에서는 일반화가 실패했으며, 후보자의 자격에 대한 독립적 판단 역시 개선하지 못했다.

추천 이유：본 연구는 ‘목표 선택 제어’, ‘조건에 대한 민감한 판단’, 그리고 ‘완전한 동작의 정확성’이라는 세 가지 유형의 능력을 최초로 명확히 구분하며, 출력된 답안만을 최적화하는 것만으로는 모델이 개입에서 설정된 조건(예: 시간, 권한)을 진정으로 이해하고 이를 재사용할 수 있음을 보장하기에 충분하지 않다는 점을 지적합니다. 이는 신뢰할 수 있는 도구 호출과 통제 가능한 AI 시스템 설계에 있어 방법론적 함의를 제공합니다.