AI 뉴스 검색

NUMA-Torch: 멀티소켓 CPU에서 컴파일러 기반 NUMA 인식 LLM 프리필

arXiv:2611.07105v1 발표 유형: 신규 초록: 온칩 캐시에 매개변수를 저장할 수 없는 충분히 큰 변환기 기반 대규모 언어 모델(LLM)의 경우, 멀티 소켓 CPU에서의 프리필 처리량은 최대 부동소수점 처리량이 아닌 지속 가능한 DRAM 대역폭에 의해 종종 제한됩니다. 표준 PyTorch 컴파일(즉, TorchInductor) 경로에서는 메모리 뱅크와 연산 코어 간의 연관성을 고려하지 않고 모델 가중치를 할당합니다. 이로 인해 가중치 접근의 상당 부분이 소켓 간 상호 연결을 통과하게 되어 각 소켓에서 사용할 수 있는 유효 메모리 대역폭이 크게 저하됩니다. 우리는 TorchInductor를 NUMA-aware로 만드는 컴파일러 수준의 솔루션을 통해 이러한 병목 현상을 해결합니다. 각 NUMA 소켓을 독립적인 텐서 병렬 파티션으로 취급하여 NUMA-aware Tensor Parallelism(NUMA-TP)을 도입합니다. 이 방법은 소켓 간에 가중치를 투명하게 분할하고 연산 커널을 스케줄링하여 스레드 풀과 메모리 할당이 CPU 연관성을 활용해 해당 소켓 내에서 엄격히 로컬로 유지되도록 합니다. 우리는 GPT-2(117M, 345M, 762M) 및 BERT(Small, Large)와 같은 표준 다중 헤드 주의와 MLP를 테스트하며, Multi-Query Attention과 GeGLU 게이트된 MLP를 결합한 Gemma 3 270M에서도 이 접근법을 평가합니다. 데이터 지역성을 엄격히 준수함으로써 우리의 접근법은 소켓 간 트래픽을 성공적으로 완화하여 듀얼 소켓 Haswell 플랫폼에서 최대 2.63배, 듀얼 소켓 Cascade Lake 플랫폼에서 최대 1.87배, 그리고 사중 소켓 Haswell-EX 플랫폼에서 최대 2.27배의 프리필 속도 향상을 달성했습니다.

시퀀스 학습 루프 - 이슈 #960: 지난주 인공지능 인프라 동향

DeepSeek, Google, 그리고 NVIDIA가 에이전트 스택을 구축하다

에이전트 간 인수 이행에 대한 벤치마킹 과제

arXiv:2610.36523v1 발표 유형: 신규 초록: 에이전트들이 더 긴 작업을 협업하는 과정에서, 작업이 완료되기 전에 책임이 모델 간에 이양될 수 있습니다. 수신 모델은 남아 있는 요구사항을 해결하면서, 이전의 결정, 관찰 및 행동을 바탕으로 작업을 이어가야 합니다. 이러한 전환 과정을 평가하려면, 인수 이전에 보존된 정보와 수신 모델이 어떻게 작업을 계속해 나가는지 사이의 관계를 연결해야 하며, 이는 단순히 작업 성공률과 기억 유지 점수만으로는 포착할 수 없습니다. 우리는 인수 이행 상태 연속성 벤치마크(HSC-Bench)를 도입하며, 이는 작업 인수의 두 가지 상호보완적인 측면을 평가하는 1,039개의 과제로 구성되어 있습니다: 관련 저장소 증거를 복구하고, 이미 설정된 대화, 도구 및 파일 작업 상태에서 계속 진행하는 능력입니다. 여섯 개의 수신 모델 간 비교 결과에 따르면, 구조적…

Anthropic이 세계 1위의 LLM을 안전하게 배포하는 방법: 뇌와 손을 분리하다

케이틀린 레스와 앤젤라 장이 Latent Space에 합류하여 Claude 플랫폼의 기술적 배경을 설명합니다: Opus 5.5 출시, 모델의 ‘뇌’와 에이전트의 ‘손’을 분리하고, API를 확장하며, 신뢰할 수 있는 관리형 에이전트를 구축하는 과정을 소개합니다. 새로운 서론...

NVIDIA DGX Spark에서 MoE 추론을 향상시키는 3가지 방법

토큰을 더 빠르게 생성하려면 먼저 추론 성능을 제한하는 요인을 파악하는 것부터 시작합니다. NVIDIA에서 Inclusion AI의 Ling-3.0-flash를 대상으로 한 배치 크기 1 평가에서는...

대규모 모델 시대, 과연 누가 그 ‘아이폰’처럼 바꾸지 않을 존재가 될 것인가?

AI 순위에서 1위는 바뀌지만, 사용자가 매일 이용하는 제품은 반드시 바뀌지 않습니다. 대규모 모델 간의 다음 경쟁은 단순히 누가 더 강력한 모델을 보유하느냐를 넘어, 한 번의 사용을 습관으로 만드는 데에 있습니다.

바이두, 수백 페이지 문서 파싱을 위한 무제한 OCR 2 오픈소스 출시

바이두는 MIT 라이선스를 적용한 3B 규모의 OCR 모델인 ‘Unlimited OCR 2’를 출시했으며, 이 모델은 한 번의 요청으로 수백 페이지에 달하는 문서를 처리할 수 있습니다. 해당 모델의 SR-SWA 주의 메커니즘은 단계별 디코딩 비용을 거의 일정하게 유지하며, MarathonDocBench에서 77.1점의 성능을 기록했습니다. 본 글은 ‘바이두, 수백 페이지 문서 파싱을 위한 Unlimited OCR 2 오픈소스화’라는 제목으로 MarkTechPost에 처음 게재되었습니다.

SLICE-Mem: 효율적인 LLM 에이전트 메모리를 위한 선명도 기반 경량 정보 큐레이션

arXiv:2610.33015v1 발표 유형: 신규 초록: 장기 기억은 대규모 언어 모델(LLM) 에이전트가 개인화되고 시간적으로 일관된 상호작용을 유지할 수 있도록 하지만, 메모리의 입실, 추출 및 정리를 위해 LLM 추론을 반복적으로 수행하면 상당한 비용과 지연이 발생합니다. 우리는 선명도 기반 입실과 술어 중심 정보 추출을 결합한 경량 메모리 프레임워크인 SLICE-Mem을 제안합니다. 간결한 분류기가 보존할 만한 사용자 발화를 식별하고, 의미적 의존성 기반 추출기가 입실된 발화를 간결한 메모리 항목으로 변환합니다. 이 온라인 파이프라인은 생성형 LLM 호출을 필요로 하지 않으며, 서로 다른 항목 간의 정합성 조정은 오프라인 통합 단계로 연기됩니다. 우리는 Memora와 LongMemEval-S의 주간 서브셋에서 8B a를 사용하여 SLICE-Mem을 평가합니다.

Nemotron 3.5 Bolt 74B-A9B 24GB: 로컬 AI를 위한 하이브리드 비전-언어 모델

arXiv:2610.33039v1 발표 유형: 신규 초록: 우리는 로컬 에이전트 워크로드를 위한 메모리 사용량 당 속도와 지능을 최적화하는 하이브리드 Mamba-Transformer 비전-언어 모델인 Nemotron 3.5 Bolt 74B-A9B 24GB를 소개합니다. Nemotron 3.5 Super VL 120B-A12B 모델 계열에서 파생된 Nemotron 3.5 Bolt 74B-A9B 24GB는 스타 엘라스틱 압축과 2비트 퀀타이제이션 기반의 학습-aware 디스틸레이션을 결합하여 메모리 제약 환경에서의 배포에 적합하도록 설계되었습니다. 이 모델은 추론, 에이전트 기반 도구 활용, 그리고 웹 및 터미널 상호작용에 최적화되어 있습니다. 또한, 목표한 추론 속도 달성을 위해 모델과 함께 공개되는 LiLiCorr 사양형 드래프터를 별도로 학습시켰습니다. 그 결과 생성된 모델은 일반적인 에이전트 작업에 대한 여러 벤치마크에서 유사한 메모리 크기와 속도를 갖는 주요 경쟁 모델들보다 높은 정확도를 달성했습니다.

내 것인가, 네 것인가? 마음이 연결된 언어 모델들은 서로의 기억을 자신의 것으로 받아들인다

arXiv:2610.33020v1 발표 유형: 신규 초록: 만약 당신의 뇌가 다른 사람의 뇌와 직접 연결된다면, 여전히 어떤 생각이 자신의 것인지 알 수 있을까요? 우리는 하나의 언어 모델을 두 개 복제한 기능적 버전을 구축했습니다. 각각은 개인적인 규칙과 코드워드를 보유하며, 그중 한 복제본인 수신자는 상대방의 내부 기억에도 주목합니다. 수신자는 상대방에게 할당된 과제를 마치 자신이 받은 것처럼 인식했습니다. 상대방의 기억에 이중 가중치를 부여했을 때(연결 없을 경우는 제외), 어떤 규칙을 할당받았는지 묻는 질문에 대해 수신자는 97%의 확률로 상대방의 규칙을 자신의 것으로 답했으며, 공개 보고서에서도 상대방의 코드워드를 자신의 것으로 표기했을 뿐, 결코 상대방의 것이 아니라고 밝혔습니다. 소유권은 수신자가 상대방에게 할당된 내용을 얼마나 잘 파악하느냐와는 무관했습니다. 동등한 가중치 하에서는, 연결이 수신자가 상대방의 규칙을 약 절반 정도로 받아들이게 만들었습니다.

접두사 키와 값의 중요성은 늦게 드러난다: 루프형 언어 모델에서 자기-추론적 디코딩을 위한 RIPE 캐싱

arXiv:2610.34436v1 발표 유형: 신규 초록: 루프형 언어 모델은 토큰당 레이어 블록을 $R$번 실행하므로, 해당 모델의 키-값(KV) 캐시는 각 반복 레이어마다 $R$개의 평면을 저장하며, 자기-투기적 디코딩(몇 개의 루프로 초안을 생성하고 $R$개 모두로 검증)에서는 이 모든 평면을 읽어들입니다. 우리는 접두사 키와 값이 후반부에서 중요한 역할을 한다는 점을 발견했습니다. 동일한 섭동 크기에서도, 루프 25~32는 루프 2~9에 비해 $e^{15.0}$(Huginn-0125) 및 $e^{12.8}$(Raven-Llama) 배 더 민감하며, 각 루프마다 평면들은 기하급수적으로 마지막 평면에 접근하여, 각각 0.88과 0.81에 도달합니다. 이때 가장 깊은 평면 하나만으로 충분한지 여부는 후반부 평면들이 얼마나 성숙했는지에 따라 달라집니다. Raven에서는 이를 저장하는 것만으로도 bf16에서 fp32로 변경한 경우와 구별되지 않으며, Huginn에서는 전체 오차의 74%를 단 1%의 위치가 차지합니다. 우리는 이를 RIPE로 발전시켰으며, RIPE는 가장 깊은

FlexA-Mem: LLM 에이전트를 위한 예산-적응형 에이전틱 메모리

arXiv:2610.33274v1 발표 유형: 신규 초록: 대규모 언어 모델(LLM) 에이전트는 매우 다양한 메모리 요구 사항을 갖는 시나리오에서 작동합니다. 과거 대화에 관한 질문에는 해당 질문이 명시한 정확한 사실이 필요하며, 다단계 작업에서는 이미 수행된 단계들의 흐름과 다음 단계에서 명시할 수 없는 세부 정보가 함께 필요합니다. 기존의 메모리는 각각 특정한 시나리오에 맞춰 설계되고 검증되어 왔습니다. A-Mem과 같은 검색형 메모리는 현재 쿼리에서 표현되지 않은 단계들을 놓치고, 요약은 정확한 문자열을 잃어버리며, 두 가지를 결합하는 방식은 예산 분할 문제를 미리 고정해 버립니다. 우리는 FlexA-Mem을 제안합니다. 이는 모든 역사적 기록을 불변 저장소에 한 번씩 기록하고, 매 호출마다 새로운 메모리를 생성하는 범용 메모리입니다. 생성된 메모리는 기록의 간결한 타임라인과 고정된 규칙에 따라 처리되는 세부 정보로 구성됩니다.

Nace AI, AI 에이전트 검색을 위한 Drex 출시: BrowseComp-Plus에서 92.05%, 검색 호출 수는 12.6회

Nace AI는 Drex for Search를 출시하며, 자사의 Drex 의사결정 모델을 AI 에이전트의 문서 검색에 적용했습니다. Nace는 BrowseComp-Plus에서 12.6회의 검색 호출로 92.05%의 성과를 기록했으며, OfficeQA Pro에서는 에이전트의 전환 횟수가 더 적었습니다. 이 글은 MarkTechPost에 처음 게재되었습니다.

InferSlice: 통신사 광역 네트워크에서 SLO 기반 LLM 추론을 위한 참조 아키텍처

arXiv:2610.32638v1 발표 유형: 신규 초록: LLM 추론은 기업 및 대화형 애플리케이션의 핵심 서비스로 점점 더 많이 도입되고 있지만, 주권, 규정 준수, 지연 시간 및 자원의 지역적 근접성 요구 사항으로 인해 중앙 집중식 클라우드 배포의 적합성이 제한될 수 있습니다. 통신사는 이러한 제약을 해결하기 위해 지리적으로 분산된 컴퓨팅 및 네트워크 인프라를 제공합니다. 그러나 기존의 LLM 서비스 프레임워크는 밀접하게 연동된 데이터 센터를 위해 설계되어 있어, 지리적으로 분산되고 이질적인 자원을 조율하는 데 대한 지원이 제한적입니다. 우리는 통신사 인프라 위에서 서비스 수준 목표(SLO) 기반 LLM 추론을 위한 참조 아키텍처인 InferSlice를 제시하며, 여기에는 네트워크 슬라이싱, GPU 파티셔닝, 탄력적 서비스 및 관찰성이 통합되어 있습니다.

오픈 ISA 슈퍼컴퓨팅을 향하여: HPC 워크로드에 대한 RISC-V, Arm, x86 아키텍처 비교 연구

arXiv:2610.32632v1 발표 유형: 신규 초록: RISC-V는 고성능 컴퓨팅(HPC)의 후보 아키텍처로 부상하고 있지만, 기존의 x86 및 Arm 프로세서와의 경쟁력은 아직 평가하기 어렵습니다. 이는 기존 연구들이 서로 다른 플랫폼, 워크로드, 방법론을 사용하고 있으며, 에너지 효율성을 거의 고려하지 않기 때문입니다. 본 연구에서는 공통된 소프트웨어 스택과 방법론을 활용하여 최신 HPC용 RISC-V, Arm, x86 프로세서를 평가합니다. 우리는 Sophgo SG2044를 특성화하고, NVIDIA Grace CPU 슈퍼칩 및 Intel Xeon Platinum 8480+와 함께 STREAM, HPL, HPL-MxP, HPCG 등 네 가지 HPC 벤치마크와 iPIC3D, PLUTO, OpenFOAM, llama.cpp 등 네 가지 대표 애플리케이션에서 비교 분석을 수행했습니다. 본 연구에서 사용된 OpenBLAS 기반 HPL-MxP 버전은

SpecMem은 실시간 도구 호출 메모리 관리 메커니즘을 제안하여 에이전트의 응답 속도를 향상시킵니다.

arXiv는 2026년 10월 26일, “SPECMEM: 실시간 메모리 관리를 통한 에이전트 기반 도구 호출 가속”이라는 제목의 사전 인쇄 논문(번호 2610.31840v1)을 발표하며, 세션 간에 온라인으로 업데이트되는 사용자 수준의 도구 호출 메모리 관리를 통해 도구 호출 지연을 크게 줄이는 새로운 시스템인 SpecMem을 제안했습니다.

추천 이유：이 연구는 현재 도구 호출 에이전트가 배포 과정에서 자회귀 디코딩으로 인해 발생하는 높은 지연 문제를 해결하기 위해, 검증 가능한 쓰기 반영, LRU 제거, 부작용 게이팅 등 핵심 기술을 제안하고, 다중 사용자·다중 세션의 실제 쿼리 흐름에서 그 효과성을 검증했습니다(최대 1.74배의 실측 가속, 평균 수신 토큰 27% 증가). 이는 AI 시스템 엔지니어링 분야에서 중요한 진전입니다.

KVStream: 대규모 LLM 서비스에서의 KV 캐싱을 위한 적응형 병렬 스토리지 관리

arXiv:2610.31827v1 발표 유형: 신규 초록: 에이전트 기반, 코드 작성 및 문서 처리 워크로드를 위한 장문 컨텍스트 LLM 서비스에서는 키-값(KV) 캐시가 GPU와 호스트 메모리를 초과하여 사용되므로, 접두사 검색을 위한 추론 단계에서 스토리지 I/O가 핵심 경로로 작용하게 됩니다. 단일 노드 로컬 NVMe는 모든 검색 작업을 담당하는 반면, 노드들이 이미 마운트한 병렬 파일 시스템이나 클라우드 파일 스토어에는 거의 추론 트래픽이 발생하지 않습니다. 우리는 이러한 계층 간의 접두사 검색을 집합 대역폭 스케줄링으로 포착하고, 한 단계의 읽기 작업을 일괄 처리하며, 전방향 패스 이후에 쓰기를 지연하고, 각 청크를 모든 계층에 복제하며, 각 계층이 비워질 때 다음 미처리 청크를 적응적으로 요청하도록 하는 KVStream이라는 KV 캐시 엔진을 제안합니다. 우리의 성능 모델은 이 라우팅 방식이 집합적

뮤온의 전처리는 언제, 어떻게 이루어지는가? 구조화된 기울기 노이즈의 역할

arXiv:2610.31728v1 발표 유형: 신규 초록: 뮤온은 대규모 언어 모델 학습에서 인기 있는 최적화 방법으로 자리잡았지만, 그 이론적 토대는 아직 잘 이해되지 않고 있다. 본 연구에서는 기울기 노이즈의 기하학적 특성이 뮤온의 전처리 효과를 어떻게 형성하는지 분석한다. 먼저, 고전적인 등방성 노이즈 가정 하에서는 뮤온이 학습률의 재조정 외에는 추가적인 가속 효과를 제공하지 않음을 이론적·실험적으로 보여준다. 이를 계기로 우리는 이질적인 작업 빈도를 갖는 연상 기억 시스템에서 미니배치 샘플링에 의해 발생하는 구조화된 노이즈를 탐구하기로 한다. 두 가지 작업에 대해 정확한 균형 임계점을 규명하고, 이를 다중 작업으로 확장하여 작업 커버리지와 기울기 신뢰성이 학습을 어떻게 공동으로 조절하는지 밝힌다. 우리의 분석에 따르면, 뮤온은 다음과 같은 효과를 완화할 수 있음을 보여준다.

EDWARD-NMT: 신경망 기반 기계 번역을 위한 적응형 라우팅과 이중 일관성을 갖춘 탄력적 차원

arXiv:2610.32115v1 발표 유형: 신규 요약: 희소 혼합 전문가 모델(MoE)은 신경망 기계 번역(NMT)의 확장성과 언어 이질성을 관리하는 데 있어 강력한 패러다임입니다. 그러나 자원 제약이 있는 디바이스에서의 적용에는 실질적인 한계가 존재합니다: 전체 전문가 풀이 메모리에 상주해야 하며, 토큰당 연산 예산은 학습 과정 중에 경직된 최상위 k 라우팅 방식으로 고정됩니다. 우리는 EDWARD-NMT(신경망 기계 번역을 위한 적응형 라우팅과 이중 일관성을 갖춘 탄력적 차원)를 제안합니다. 이는 한 번 학습하고 어디서나 배포할 수 있는 패러다임을 지향하는 새로운 MoE 인코더-디코더 아키텍처로, 추론 시 다양한 배포 가능한 하위 네트워크들을 제공합니다. EDWARD-NMT는 세 가지 주요 혁신을 통합합니다: (i) 마트료시카 스타일의 탄력적 차원을 통해 메모리 사용량을 유연하게 줄이고; (ii) a

쿼리의 추상성 수준이 고전 아랍 시어 검색 성능을 좌우한다: BM25와 밀집 부호화기의 성능은 쿼리의 추상도에 따라 크게 달라진다

2026년 10월 26일 arXiv에 게재된 최신 연구(arXiv:2610.31821v1)에 따르면, 고전 아랍 시 검색 과제에서 사용자의 구절 기억 잔존 정도(예: 반행을 기억하는지 여부)가 모델의 성능보다 검색 성능을 결정하는 데 훨씬 더 중요한 요소로 작용한다. BM25는 ‘혀끝 효과’ 유형의 쿼리에서는 8B 파라미터의 SOTA 모델을 포함한 모든 밀집 부호화기보다 우수했으나, 추상적 쿼리에서는 크게 뒤처졌다.

추천 이유：이 연구는 이중 코퍼스, 삼중 인덱싱 모드 및 이중 평가 프로토콜을 활용한 체계적인 벤치마크를 통해, 질의 추상화 수준이 다양한 검색 패러다임(어휘적 vs. 밀도 기반)에 미치는 지배적 영향을 최초로 정량적으로 규명하였으며, 인간 라벨러와 오픈소스 가중치 모델을 통한 이중 검증을 거쳐, 그 결론은 방법론적 보편성과 실증적 견고성을 갖추고 있다.