본문으로 건너뛰기
AI NEWS JOURNAL
AI, IN PERSPECTIVE

전체 AI 소식

출처, 주제, 시간으로 전체 뉴스에서 관심 소식을 찾아보세요.

발행 시간순

SLICE-Mem: 효율적인 LLM 에이전트 메모리를 위한 선명도 기반 경량 정보 큐레이션

arXiv:2610.33015v1 발표 유형: 신규 초록: 장기 기억은 대규모 언어 모델(LLM) 에이전트가 개인화되고 시간적으로 일관된 상호작용을 유지할 수 있도록 하지만, 메모리의 입실, 추출 및 정리를 위해 LLM 추론을 반복적으로 수행하면 상당한 비용과 지연이 발생합니다. 우리는 선명도 기반 입실과 술어 중심 정보 추출을 결합한 경량 메모리 프레임워크인 SLICE-Mem을 제안합니다. 간결한 분류기가 보존할 만한 사용자 발화를 식별하고, 의미적 의존성 기반 추출기가 입실된 발화를 간결한 메모리 항목으로 변환합니다. 이 온라인 파이프라인은 생성형 LLM 호출을 필요로 하지 않으며, 서로 다른 항목 간의 정합성 조정은 오프라인 통합 단계로 연기됩니다. 우리는 Memora와 LongMemEval-S의 주간 서브셋에서 8B a를 사용하여 SLICE-Mem을 평가합니다.

진행 상황 및 관련 보도

Async-RBench: LLM 에이전트에서 비동기 작업 실행 성능 벤치마킹

arXiv:2610.32429v1 발표 유형: 신규 초록: 대규모 언어 모델(LLM) 에이전트는 점점 더 비동기적으로 작업을 수행합니다. 주 에이전트는 하위 에이전트들이 실행되는 동안에도 계속 작업을 진행하며, 그 결과가 도착하기 전에 작업 상태가 변경될 수 있습니다. 이때 주 에이전트는 어떤 작업을 업데이트하거나 보존하고, 어떤 검사를 다시 수행할지 결정해야 하며, 동시에 금지된 변경 사항을 피해야 합니다. 최종 작업 성공 여부만으로는 이러한 결과가 올바르게 처리되었는지 여부를 확인하기 어렵고, 자연스러운 비동기적 도착 현상은 재현하기도 어렵습니다. 우리는 LLM 에이전트의 비동기적 작업 실행을 평가하는 벤치마크인 Async-RBench를 제안하며, 8가지 시나리오를 포괄하는 200개의 실행 가능한 작업을 제공합니다. 각 시나리오 컨트롤러는 미리 정의된 작업 상태 조건을 활용해 결과 전달을 관리하고, 이벤트 응답 계약(ERC)은 각 응답이 무엇을 의미하는지를 명시합니다.

진행 상황 및 관련 보도

LLM 에이전트의 일관성을 위한 재귀적 의미 차이

arXiv:2610.33012v1 발표 유형: 신규 초록: 도구 사용 기능을 갖춘 대규모 언어 모델(LLM) 에이전트는 동일한 초기 상태에서 독립적인 실행 간에 일관되지 않은 행동을 보이며, 서로 다른 도구를 호출하거나 상충되는 출력을 생성하거나 서로 다른 전략을 추구합니다. 이러한 변동성은 시간이 지나면서 누적되어 배포의 신뢰성을 저해합니다. 기존 평가 지표들은 주로 완료 기반 점수를 통해 작업 정확도를 측정할 뿐, 여러 실행에 걸친 에이전트 행동의 일관성을 포착하지 못합니다. 또한, 에이전트의 행동은 확률 분포를 이용한 토큰 수준 또는 의미 클러스터링을 활용한 단일 응답 수준에서 각각 분석되지만, 어느 방법도 궤적의 향후 단계들로 일관성 부족이 어떻게 전파되는지를 파악하지 못합니다. 우리는 재귀적 의미 발산(RSD)이라는 비정식

진행 상황 및 관련 보도

통합 지상 및 비지상 6G 네트워크에서 의도 기반 서비스 오케스트레이션을 위한 지식 기반 LLM

arXiv:2610.33007v1 발표 유형: 신규 초록: 통합 지상망 및 비지상망(TN/NTN) 6G 네트워크에서의 자연어 기반 서비스 의도는 불완전하거나 모호하거나 일관성이 없을 수 있어, 신뢰할 수 있는 네트워크 기반 오케스트레이션을 위해 제한 없는 LLM 생성이 어려운 상황을 야기합니다. 본 논문에서는 문법 제약을 적용한 의미 분석과 지식 그래프(KG) 기반 명확화 루프를 결합한 지식 기반 LLM 프레임워크를 제안하며, 대표적인 네 가지 서비스 클래스에 걸쳐 검증된 오케스트레이션 준비 완료 상태의 서비스 프로파일을 생성합니다. 200개의 샘플로 구성된 의도 데이터셋에서, 이 프레임워크는 요청당 평균 0.66회의 명확화 단계를 거쳐 분류 정확도 89%와 정책 타당성 95%를 달성합니다. 순수 LLM 기반 베이스라인과 비교했을 때, 제안된 프레임워크는 정책 타당성을 향상시키고 co

진행 상황 및 관련 보도

EviGround-CT: LLM이 생성한 흉부 CT 보고서의 검증을 위한 문장에서 볼륨으로의 접지

arXiv:2610.33038v1 발표 유형: 신규 초록: 대규모 언어 모델(LLMs)이 생성한 흉부 컴퓨터단층촬영(CT) 보고서는 영상에서 국소적 근거가 없는 양성 소견을 기술할 수 있다. 우리는 보고서 생성 후 이러한 소견을 검증하기 위해 EviGround-CT를 제안한다. 결정론적 추출기가 양성 소견 문장을 식별하고, 3D 기반 그라운딩 모델이 각 문장에 대한 근거 마스크를 예측한다. 전체 문장을 활용함으로써 그라운딩 쿼리에 해부학적 위치, 편측성 및 서술적 수식어를 유지할 수 있다. 우리는 CT-RATE에서 보고서 생성을 평가하고, 별도로 확보한 ReXGroundingCT 하위 집합 100건을 대상으로 그라운딩과 검증을 수행하였다. 이용 가능한 주석을 바탕으로, 문장 기반 검증을 적용한 결과, 근거 기반 정확도(ESP)는 추출된 137개의 관련 소견에서 0.263에서 0.365로 상승하였다.

진행 상황 및 관련 보도

Nemotron 3.5 Bolt 74B-A9B 24GB: 로컬 AI를 위한 하이브리드 비전-언어 모델

arXiv:2610.33039v1 발표 유형: 신규 초록: 우리는 로컬 에이전트 워크로드를 위한 메모리 사용량 당 속도와 지능을 최적화하는 하이브리드 Mamba-Transformer 비전-언어 모델인 Nemotron 3.5 Bolt 74B-A9B 24GB를 소개합니다. Nemotron 3.5 Super VL 120B-A12B 모델 계열에서 파생된 Nemotron 3.5 Bolt 74B-A9B 24GB는 스타 엘라스틱 압축과 2비트 퀀타이제이션 기반의 학습 후 양자화 기반 증류 기술을 결합하여 메모리 제약 환경에서도 효율적으로 배포할 수 있도록 설계되었습니다. 이 모델은 추론, 에이전트 기반 도구 활용, 그리고 웹 및 터미널 상호작용에 최적화되어 있습니다. 또한, 목표한 추론 속도를 달성하기 위해 모델과 함께 공개되는 LiLiCorr 사양형 드래프터를 별도로 교육했습니다. 그 결과 생성된 모델은 일반적인 에이전트 작업에 대한 여러 벤치마크에서 유사한 메모리 사용량과 속도를 가진 주요 경쟁 모델들보다 높은 정확도를 보여줍니다.

新闻源配图 · arXiv cs.CV
진행 상황 및 관련 보도

이득을 넘어선 것: 에이전트 스킬 퇴역을 위한 스킬 내재화 측정

arXiv:2610.32322v1 발표 유형: 신규 초록: LLM 에이전트는 약 10만 개의 항목을 보유하고 다수의 모델에 서비스를 제공하는 공공 허브에서 기술을 검색합니다. 모델이 발전함에 따라, 특정 모델이 내부적으로 학습하여 해당 기술을 필요로 하지 않게 되었음을 확인하고 그 모델에 대해 해당 기술을 폐기해야 하지만, 현재까지는 이러한 내부화 정도가 알려진 신뢰성으로 측정된 바 없습니다. 기존에 발표된 규칙들은 기술을 포함한 실행과 제외된 실행 간의 성능 차이만을 기준으로 기술 폐기를 판단합니다. 그러나 내부화된 기술의 경우에도, 그리고 모델과 기술 모두 해당 능력을 제공하지 못하는 상태(우리가 ‘미해결 상태’라고 부르는 경우)에서도 성능 향상은 거의 제로에 가깝습니다. 따라서 우리는 대신 해당 기술을 보류하고, 그 기술을 기반으로 새롭게 구성된 과제에서 모델의 성능을 평가하며, 다른 모델이 해당 기술로부터 이익을 얻는 경우에만 높은 비지원 점수를 신뢰합니다. 이는 높은 점수의 거의 절반이 아무런 기술도 없는 과제에서 나온다는 사실에 근거합니다.

진행 상황 및 관련 보도

용매: 다단계 역합성에 대한 장기적 추론

arXiv:2610.32308v1 발표 유형: 신규 초록: 다단계 역합성은 목표 분자를 연속적인 반응 단계를 거쳐 구매 가능한 빌딩 블록으로 재귀적으로 변환하는 과정을 요구하며, 최근 연구에서는 이 과제를 해결하기 위해 대규모 언어 모델(LLM)의 추론 기법을 활용하기 시작했습니다. LLM 추론 기법은 최근 발전 과정에서 장기적 지평 영역으로 진입했으며, 모델들은 상호 의존적인 여러 단계에 걸쳐 목표를 달성하고 환경과 상호작용하며 피드백에 적응합니다. 이러한 변화는 AI 기반 수학 연구에서의 획기적인 성과들로도 잘 드러나며, LLM의 능력을 크게 향상시켰습니다. 이러한 최첨단 분야에서 우리는 8B 규모의 LLM인 Solvent를 소개합니다. Solvent는 다단계 역합성 문제에 대한 장기적 추론을 성공적으로 확장한 모델입니다. 두 차례에 걸친 사후 학습 커리큘럼을 통해 Solvent는 반복적인 작업을 병렬로 수행하는 방법을 학습합니다.

진행 상황 및 관련 보도

DMAIC-벤치: 다단계 분석 작업에서 에이전트의 자기성찰에서 자기절제까지

arXiv:2610.32305v1 발표 유형: 신규 초록: 다단계 분석 작업에서는 LLM 에이전트가 다음 단계를 계속할지, 경로를 변경할지, 또는 중단할지를 결정하기 위해 중간 증거를 활용해야 합니다. 에이전트가 자신의 출력을 비판하는 자기반성은 널리 연구되어 왔지만, 이러한 비판만으로는 증거가 다음 행동에 영향을 미쳤는지 여부를 확인할 수 없습니다. 우리는 이러한 능력을 ‘자기억제’라고 부릅니다. 기존의 에이전트 벤치마크는 대부분 과제 완료 여부나 출력 품질을 측정할 뿐, 이 능력은 검증되지 않은 상태입니다. DMAIC-Bench는 린 식스 시그마의 명시적인 통계적 전제 조건을 기반으로 하여, 4개 산업 분야의 15개 산업 사례에 걸쳐 97개의 초기 설정된 과제를 통해 이를 평가합니다. 쌍으로 구성된 역설적 변형 과제들은 동일한 워크플로우 위치에서 서로 반대되는 행동을 요구함으로써, 정당화된 억제와 무분별한 중단을 구분합니다. 우리는 실행 추적 정보를 통해

진행 상황 및 관련 보도

리프스킬: 재귀적 LLM 에이전트를 위한 효율적인 잎 수준 행동 근거화

arXiv:2610.32412v1 발표 유형: 신규 초록: 재귀적 대규모 언어 모델(LLM) 에이전트는 분해, 실행 및 환경 피드백을 통해 장기적인 목표를 달성하는 과제를 해결한다. 그러나 원자적 하위 작업을 생성한 뒤에는, 익숙한 명령어를 실행 가능한 행동으로 변환하기 위해 다시 동일한 대규모 모델을 호출하는 경우가 많다. 우리는 고수준 계획은 과제마다 특화되어 있는 반면, 최하위 수준의 행동 구체화는 과제 간에 반복적으로 사용되며 환경에서 허용된 행동들과 비교·검증할 수 있다는 점을 관찰하였다. 이에 우리는 리프스킬(LeafSkill)을 제안한다. 이는 의미적으로 관련된 구체화 경험을 검색하고, 행동 템플릿을 현재 객체와 허용 가능한 행동에 결합하며, 경량형 1.7B 선택기를 활용해 결합된 행동을 선택하거나 변경되지 않은 하위 작업을 원래 에이전트에게 위임하는 외부 재사용 계층이다. 기술들은 외부에 남아 있다…

진행 상황 및 관련 보도

내 것인가, 네 것인가? 마음이 연결된 언어 모델들은 서로의 기억을 자신의 것으로 받아들인다

arXiv:2610.33020v1 발표 유형: 신규 초록: 만약 당신의 뇌가 다른 사람의 뇌와 직접 연결된다면, 여전히 어떤 생각이 자신의 것인지 알 수 있을까요? 우리는 하나의 언어 모델을 두 개 복제한 기능적 버전을 구축했습니다. 각각은 개인적인 규칙과 코드워드를 보유하며, 그중 한 복제본인 수신자는 상대방의 내부 기억에도 주목합니다. 수신자는 상대방에게 할당된 과제를 마치 자신이 받은 것처럼 인식했습니다. 상대방의 기억에 이중 가중치를 부여했을 때(연결 없을 경우는 제외), 어떤 규칙을 할당받았는지 묻는 질문에 대해 수신자는 97%의 확률로 상대방의 규칙을 자신의 것으로 답했으며, 공개 보고서에서도 상대방의 코드워드를 자신의 것으로 표기했을 뿐, 결코 상대방의 것이 아니라고 밝혔습니다. 소유권은 수신자가 상대방에게 할당된 내용을 얼마나 잘 파악하느냐와는 무관했습니다. 동등한 가중치 하에서는, 연결이 수신자가 상대방의 규칙을 약 절반 정도로 받아들이게 만들었습니다.

진행 상황 및 관련 보도

접두사 키와 값의 중요성은 늦게 드러난다: 루프형 언어 모델에서 자기-추론적 디코딩을 위한 RIPE 캐싱

arXiv:2610.34436v1 발표 유형: 신규 초록: 루프형 언어 모델은 토큰당 레이어 블록을 $R$번 실행하므로, 해당 모델의 키-값(KV) 캐시는 각 반복 레이어마다 $R$개의 평면을 저장하며, 자기-투기적 디코딩(몇 개의 루프로 초안을 생성하고 $R$개 모두로 검증)에서는 이 모든 평면을 읽어들입니다. 우리는 접두사 키와 값이 후반부에서 중요한 역할을 한다는 점을 발견했습니다. 동일한 섭동 크기에서도, 루프 25~32는 루프 2~9에 비해 $e^{15.0}$(Huginn-0125) 및 $e^{12.8}$(Raven-Llama) 배 더 민감하며, 각 루프마다 평면들은 기하급수적으로 마지막 평면에 접근하여, 각각 0.88과 0.81에 도달합니다. 이때 가장 깊은 평면 하나만으로 충분한지 여부는 후반부 평면들이 얼마나 성숙했는지에 따라 달라집니다. Raven에서는 이를 저장하는 것만으로도 bf16에서 fp32로 변경한 경우와 구별되지 않으며, Huginn에서는 전체 오차의 74%를 단 1%의 위치가 차지합니다. 우리는 이를 RIPE로 발전시켰으며, RIPE는 가장 깊은

진행 상황 및 관련 보도

FlexA-Mem: LLM 에이전트를 위한 예산-적응형 에이전틱 메모리

arXiv:2610.33274v1 발표 유형: 신규 초록: 대규모 언어 모델(LLM) 에이전트는 매우 다양한 메모리 요구 사항을 갖는 시나리오에서 작동합니다. 과거 대화에 관한 질문에는 해당 질문이 명시한 정확한 사실이 필요하며, 다단계 작업에서는 이미 수행된 단계들의 흐름과 다음 단계에서 명시할 수 없는 세부 정보가 함께 필요합니다. 기존의 메모리는 각각 특정한 시나리오에 맞춰 설계되고 검증되어 왔습니다. A-Mem과 같은 검색형 메모리는 현재 쿼리에서 표현되지 않은 단계들을 놓치고, 요약은 정확한 문자열을 잃어버리며, 두 가지를 결합하는 방식은 예산 분할 문제를 미리 고정해 버립니다. 우리는 FlexA-Mem을 제안합니다. 이는 모든 역사적 기록을 불변 저장소에 한 번씩 기록하고, 매 호출마다 새로운 메모리를 생성하는 범용 메모리입니다. 생성된 메모리는 기록의 간결한 타임라인과 고정된 규칙에 따라 처리되는 세부 정보로 구성됩니다.

진행 상황 및 관련 보도

열일곱 살 학생은 어떤 답을 썼을까? 여섯 개의 최첨단 언어 모델에서 나타나는 저자 연령 오인, 과대 평가된 신뢰도, 그리고 비교정적 자기 설명에 관한 행동 사례 연구

arXiv:2610.31946v1 발표 유형: 신규 초록: 세 명의 학생이 같은 시험 문제를 손으로 작성했다: “행복이란 무엇인가? 당신은 행복한가?” 수집 당시 기록된 이들의 나이는 17세, 28세, 45세이다. 열일곱 살 학생의 답은 조심스럽고 형식적으로 표현되어 있다. 각 답안을 나이와 성별 라벨에 맞추도록 요청했을 때, 대부분의 최첨단 언어 모델은 이를 성인에게 확신을 가지고 배정한다. 본 논문은 Claude Fable 5, Gemini 3.1 Pro, GPT-5.6 Sol, Grok 4.5, GPT-4o (2024), 그리고 DeepSeek V4 등 여섯 개 모델에서 발생한 이러한 실패를 구조화된 사례 연구로 보고한다. 우리는 프레임 설정, 공개 형식, 그리고 청중 인식 지침을 조작하는 여섯 가지 실험 조건 하에 1,081회의 API 세션을 진행하고, 총 3,225개의 응답을 점수화하였다. 여섯 개 모델 중 세 개는 매칭 과제에서 우연 수준(1/3)에 근접하거나 그에 가까운 성과를 보이는 반면, 73~88%의 정확도를 보고한다.

진행 상황 및 관련 보도

DirCast: 단일 스트리밍 비디오 언어 모델을 활용한 실시간 e스포츠 연출 및 해설

arXiv:2610.31734v1 발표 유형: 신규 초록: 실시간 e스포츠 중계에서는 매초마다 다음 장면을 예측하지 못한 채, 어떤 카메라를 송출할지 결정하는 디렉터와 그 선택에 대해 해설하는 캐스터가 필요합니다. 기존의 스트리밍 비디오 언어 모델은 이미 인간 디렉터가 제작한 방송에 대해서만 해설하는 능력을 학습해 왔습니다. 우리는 이러한 상황에서, 모든 선수의 원시 카메라 영상을 입력으로 받아, 과거 정보만을 바탕으로 동시에 연출과 해설을 수행해야 하는 실시간 방송 제작 환경을 연구합니다. 이에 따라, 두 가지 역할을 모두 수행하는 단일 스트리밍 비디오 언어 모델인 DirCast를 제안합니다. DirCast는 매초마다 모든 카메라 영상을 저해상도로 스캔하고, 유지 또는 전환 여부를 결정하는 디렉터 모드를 통해 언제 어디서 컷을 할지 판단한 뒤, 선택된 카메라 영상을 고해상도로 읽어들여 해설을 시작합니다. 또한, 모델의 문맥은 현재 송출된 내용과

DirCast: Live Esports Directing and Commentary with a Single Streaming Video-Language Model
진행 상황 및 관련 보도

InferSlice: 통신사 광역 네트워크에서 SLO 기반 LLM 추론을 위한 참조 아키텍처

arXiv:2610.32638v1 발표 유형: 신규 초록: LLM 추론은 기업 및 대화형 애플리케이션의 핵심 서비스로 점점 더 많이 도입되고 있지만, 주권, 규정 준수, 지연 시간 및 자원의 지역적 근접성 요구 사항으로 인해 중앙 집중식 클라우드 배포의 적합성이 제한될 수 있습니다. 통신사는 이러한 제약을 해결하기 위해 지리적으로 분산된 컴퓨팅 및 네트워크 인프라를 제공합니다. 그러나 기존의 LLM 서비스 프레임워크는 밀접하게 연동된 데이터 센터를 위해 설계되어 있어, 지리적으로 분산되고 이질적인 자원을 조율하는 데 대한 지원이 제한적입니다. 우리는 통신사 인프라 위에서 서비스 수준 목표(SLO) 기반 LLM 추론을 위한 참조 아키텍처인 InferSlice를 제시하며, 여기에는 네트워크 슬라이싱, GPU 파티셔닝, 탄력적 서비스 및 관찰성이 통합되어 있습니다.

InferSlice: A Reference Architecture for SLO-driven LLM Inference over a Telco Wide-Area Network
진행 상황 및 관련 보도

무엇을 말할 것인가를 넘어서: 늑대인간 에이전트를 위한 내적 생각을 활용한 선제적 발화 타이밍

arXiv:2610.32107v1 발표 유형: 신규 요약: 대화에 참여하는 것은 단순히 무엇을 말할지 결정하는 것뿐만 아니라, 과연 말을 해야 하는지 여부까지 포함합니다. 이러한 판단은 특히 늑대인간 게임과 같이 참가자들의 이해관계가 상충되는 환경에서 더욱 중요한 의미를 지닙니다. 왜냐하면 발화와 침묵 모두 타인에 의해 해석되고 평가되기 때문입니다. 따라서 언제 말을 할지, 그리고 무엇을 말할지를 결정하는 것은 늑대인간 게임을 플레이하는 LLM 에이전트에게 매우 중요합니다. 본 연구에서는 AIWolfDial 공동 과제의 Anytime Utterance Track를 위해 개발된 늑대인간 AI 에이전트를 소개합니다. 우리 시스템은 기존의 Inner Thoughts 프레임워크를 기반으로 하며, 이는 대화 중에 내적 생각을 생성하고 각 생각의 가치를 평가함으로써 발화 타이밍을 결정합니다.

진행 상황 및 관련 보도

온폴리시 대 오폴리시를 넘어: LLM 에이전트 디스틸레이션은 어느 수준에서 학생 모델을 따라야 하는가?

arXiv:2610.31918v1 발표 유형: 신규 초록: 상호작용하는 LLM 에이전트를 디스틸레이션할 때는 교사가 생성한 시연과 학생이 생성한 경험 중 하나를 선택해야 하며, 이는 대략적으로 오폴리시와 온폴리시 디스틸레이션에 해당합니다. 두 방법 모두 효과적인 것으로 입증되었지만, 우리는 이러한 구분이 본질적으로 계층적이라고 주장합니다. 즉, 상호작용의 역사(히스토리)를 유도하는 정책과 현재 행동의 토큰 접두사를 생성하는 정책이 반드시 동일할 필요는 없다는 것입니다. 우리는 이러한 두 가지 수준의 온폴리시성을 체계화하고, 이들 간의 매칭, 혼합 비율 및 학습 스케줄을 명시적으로 제어할 수 있도록 하는 계층적 에이전트 디스틸레이션 프레임워크를 제안합니다. 우리는 이 문제를 자기 디스틸레이션 방식으로 연구하며, 여기서 고정된 교사는 학생에게는 제공되지 않는 과제 지침에 접근할 수 있습니다.

Beyond On-Policy vs. Off-Policy: At What Level Should LLM Agent Distillation Follow the Student?
진행 상황 및 관련 보도

KVStream: 대규모 LLM 서비스에서의 KV 캐싱을 위한 적응형 병렬 스토리지 관리

arXiv:2610.31827v1 발표 유형: 신규 초록: 에이전트 기반, 코드 작성 및 문서 처리 워크로드를 위한 장문 컨텍스트 LLM 서비스에서는 키-값(KV) 캐시가 GPU와 호스트 메모리를 초과하여 사용되므로, 접두사 검색을 위한 추론 단계에서 스토리지 I/O가 핵심 경로로 작용하게 됩니다. 단일 노드 로컬 NVMe는 모든 검색 작업을 담당하는 반면, 노드들이 이미 마운트한 병렬 파일 시스템이나 클라우드 파일 스토어에는 거의 추론 트래픽이 발생하지 않습니다. 우리는 이러한 계층 간의 접두사 검색을 집합 대역폭 스케줄링으로 포착하고, 한 단계의 읽기 작업을 일괄 처리하며, 전방향 패스 이후에 쓰기를 지연하고, 각 청크를 모든 계층에 복제하며, 각 계층이 비워질 때 다음 미처리 청크를 적응적으로 요청하도록 하는 KVStream이라는 KV 캐시 엔진을 제안합니다. 우리의 성능 모델은 이 라우팅 방식이 집합적

KVStream: Adaptive Parallel Storage Management for KV Caching in Large-Scale LLM Serving
진행 상황 및 관련 보도

뮤온의 전처리는 언제, 어떻게 이루어지는가? 구조화된 기울기 노이즈의 역할

arXiv:2610.31728v1 발표 유형: 신규 초록: 뮤온은 대규모 언어 모델 학습에서 인기 있는 최적화 방법으로 자리잡았지만, 그 이론적 토대는 아직 잘 이해되지 않고 있다. 본 연구에서는 기울기 노이즈의 기하학적 특성이 뮤온의 전처리 효과를 어떻게 형성하는지 분석한다. 먼저, 고전적인 등방성 노이즈 가정 하에서는 뮤온이 학습률의 재조정 외에는 추가적인 가속 효과를 제공하지 않음을 이론적·실험적으로 보여준다. 이를 계기로 우리는 이질적인 작업 빈도를 갖는 연상 기억 시스템에서 미니배치 샘플링에 의해 발생하는 구조화된 노이즈를 탐구하기로 한다. 두 가지 작업에 대해 정확한 균형 임계점을 규명하고, 이를 다중 작업으로 확장하여 작업 커버리지와 기울기 신뢰성이 학습을 어떻게 공동으로 조절하는지 밝힌다. 우리의 분석에 따르면, 뮤온은 다음과 같은 효과를 완화할 수 있음을 보여준다.

When and How Does Muon Precondition? The Role of Structured Gradient Noise
진행 상황 및 관련 보도