AI 뉴스 검색

NUMA-Torch: 멀티소켓 CPU에서 컴파일러 기반 NUMA 인식 LLM 프리필

arXiv:2611.07105v1 발표 유형: 신규 초록: 온칩 캐시에 매개변수를 저장할 수 없는 충분히 큰 변환기 기반 대규모 언어 모델(LLM)의 경우, 멀티 소켓 CPU에서의 프리필 처리량은 최대 부동소수점 처리량이 아닌 지속 가능한 DRAM 대역폭에 의해 종종 제한됩니다. 표준 PyTorch 컴파일(즉, TorchInductor) 경로에서는 메모리 뱅크와 연산 코어 간의 연관성을 고려하지 않고 모델 가중치를 할당합니다. 이로 인해 가중치 접근의 상당 부분이 소켓 간 상호 연결을 통과하게 되어 각 소켓에서 사용할 수 있는 유효 메모리 대역폭이 크게 저하됩니다. 우리는 TorchInductor를 NUMA-aware로 만드는 컴파일러 수준의 솔루션을 통해 이러한 병목 현상을 해결합니다. 각 NUMA 소켓을 독립적인 텐서 병렬 파티션으로 취급하여 NUMA-aware Tensor Parallelism(NUMA-TP)을 도입합니다. 이 방법은 소켓 간에 가중치를 투명하게 분할하고 연산 커널을 스케줄링하여 스레드 풀과 메모리 할당이 CPU 연관성을 활용해 해당 소켓 내에서 엄격히 로컬로 유지되도록 합니다. 우리는 GPT-2(117M, 345M, 762M) 및 BERT(Small, Large)와 같은 표준 다중 헤드 주의와 MLP를 테스트하며, Multi-Query Attention과 GeGLU 게이트된 MLP를 결합한 Gemma 3 270M에서도 이 접근법을 평가합니다. 데이터 지역성을 엄격히 준수함으로써 우리의 접근법은 소켓 간 트래픽을 성공적으로 완화하여 듀얼 소켓 Haswell 플랫폼에서 최대 2.63배, 듀얼 소켓 Cascade Lake 플랫폼에서 최대 1.87배, 그리고 사중 소켓 Haswell-EX 플랫폼에서 최대 2.27배의 프리필 속도 향상을 달성했습니다.

FilingLoop: 기업 공시 검토 및 수정을 위한 LLM 에이전트 평가 및 진화

arXiv:2610.37905v1 발표 유형: 신규 초록: SEC EDGAR와 같은 공시 저장소는 기업 공시에 대한 웹 접근을 통해 정보에 기반한 투자를 지원합니다. 이러한 문서의 검토를 언어 모델 기반 에이전트로 지원하려면, 관련 문서들 간의 미표명된 결함을 발견하고, 누락된 회사 정보를 확보하며, 요청된 수정 사항이 증거에 근거한 요구사항을 충족하는지 검증해야 합니다. 기존의 재무 관련 질문-답변 평가는 이러한 상호작용 능력에 대해 제한적인 근거만 제공합니다. 우리는 기업 공시 검토 및 수정을 위한 대화형 벤치마크이자 자체 진화형 에이전트 프레임워크인 \textbf{FilingLoop}을 소개합니다. FilingLoop은 미국 증권거래위원회의 역사적 서신을 바탕으로, 96개 기업의 주로 IPO 검토 과제 380개를 재구성합니다.

Anthropic이 세계 1위의 LLM을 안전하게 배포하는 방법: 뇌와 손을 분리하다

케이틀린 레스와 앤젤라 장이 Latent Space에 합류하여 Claude 플랫폼의 기술적 배경을 설명합니다: Opus 5.5 출시, 모델의 ‘뇌’와 에이전트의 ‘손’을 분리하고, API를 확장하며, 신뢰할 수 있는 관리형 에이전트를 구축하는 과정을 소개합니다. 새로운 서론...

Anthropic가 증권신고서를 제출했으며, 규정을 위반한 사용자가 매출의 최소 5%를 기여한 것으로 나타났다; 후룬 부자 순위 100대 명단에 량원펑 등 AI 분야의 거물들이 대거 이름을 올렸다 | AI 업계에서는 또 어떤 일이 벌어지고 있을까

1. 워커들에게 더 적합한 GPT-6.1 Terra가 출시되며, API 가격은 절반으로 인하되고 컴퓨터 작업 속도는 더욱 빨라집니다. 10월 26일, OpenAI는 GPT-6.1 Terra를 발표했으며, 주요 기능으로 시각적 이해력, 컴퓨터 작업 능력, 사실 정확성 및 프로그래밍 능력을 향상시켰습니다....

대규모 모델 시대, 과연 누가 그 ‘아이폰’처럼 바꾸지 않을 존재가 될 것인가?

AI 순위에서 1위는 바뀌지만, 사용자가 매일 이용하는 제품은 반드시 바뀌지 않습니다. 대규모 모델 간의 다음 경쟁은 단순히 누가 더 강력한 모델을 보유하느냐를 넘어, 한 번의 사용을 습관으로 만드는 데에 있습니다.

SLICE-Mem: 효율적인 LLM 에이전트 메모리를 위한 선명도 기반 경량 정보 큐레이션

arXiv:2610.33015v1 발표 유형: 신규 초록: 장기 기억은 대규모 언어 모델(LLM) 에이전트가 개인화되고 시간적으로 일관된 상호작용을 유지할 수 있도록 하지만, 메모리의 입실, 추출 및 정리를 위해 LLM 추론을 반복적으로 수행하면 상당한 비용과 지연이 발생합니다. 우리는 선명도 기반 입실과 술어 중심 정보 추출을 결합한 경량 메모리 프레임워크인 SLICE-Mem을 제안합니다. 간결한 분류기가 보존할 만한 사용자 발화를 식별하고, 의미적 의존성 기반 추출기가 입실된 발화를 간결한 메모리 항목으로 변환합니다. 이 온라인 파이프라인은 생성형 LLM 호출을 필요로 하지 않으며, 서로 다른 항목 간의 정합성 조정은 오프라인 통합 단계로 연기됩니다. 우리는 Memora와 LongMemEval-S의 주간 서브셋에서 8B a를 사용하여 SLICE-Mem을 평가합니다.

Async-RBench: LLM 에이전트에서 비동기 작업 실행 성능 벤치마킹

arXiv:2610.32429v1 발표 유형: 신규 초록: 대규모 언어 모델(LLM) 에이전트는 점점 더 비동기적으로 작업을 수행합니다. 주 에이전트는 하위 에이전트들이 실행되는 동안에도 계속 작업을 진행하며, 그 결과가 도착하기 전에 작업 상태가 변경될 수 있습니다. 이때 주 에이전트는 어떤 작업을 업데이트하거나 보존하고, 어떤 검사를 다시 수행할지 결정해야 하며, 동시에 금지된 변경 사항을 피해야 합니다. 최종 작업 성공 여부만으로는 이러한 결과가 올바르게 처리되었는지 여부를 확인하기 어렵고, 자연스러운 비동기적 도착 현상은 재현하기도 어렵습니다. 우리는 LLM 에이전트의 비동기적 작업 실행을 평가하는 벤치마크인 Async-RBench를 제안하며, 8가지 시나리오를 포괄하는 200개의 실행 가능한 작업을 제공합니다. 각 시나리오 컨트롤러는 미리 정의된 작업 상태 조건을 활용해 결과 전달을 관리하고, 이벤트 응답 계약(ERC)은 각 응답이 무엇을 의미하는지를 명시합니다.

LLM 에이전트의 일관성을 위한 재귀적 의미 차이

arXiv:2610.33012v1 발표 유형: 신규 초록: 도구 사용 기능을 갖춘 대규모 언어 모델(LLM) 에이전트는 동일한 초기 상태에서 독립적인 실행 간에 일관되지 않은 행동을 보이며, 서로 다른 도구를 호출하거나 상충되는 출력을 생성하거나 서로 다른 전략을 추구합니다. 이러한 변동성은 시간이 지나면서 누적되어 배포의 신뢰성을 저해합니다. 기존 평가 지표들은 주로 완료 기반 점수를 통해 작업 정확도를 측정할 뿐, 여러 실행에 걸친 에이전트 행동의 일관성을 포착하지 못합니다. 또한, 에이전트의 행동은 확률 분포를 이용한 토큰 수준 또는 의미 클러스터링을 활용한 단일 응답 수준에서 각각 분석되지만, 어느 방법도 궤적의 향후 단계들로 일관성 부족이 어떻게 전파되는지를 파악하지 못합니다. 우리는 재귀적 의미 발산(RSD)이라는 비정식

EviGround-CT: LLM이 생성한 흉부 CT 보고서의 검증을 위한 문장-볼륨 기반 근거화

arXiv:2610.33038v1 발표 유형: 신규 요약: 대규모 언어 모델(LLM)이 생성한 흉부 컴퓨터단층촬영(CT) 보고서에는 스캔에서 국소적 근거가 부족한 양성 소견이 포함될 수 있습니다. 우리는 보고서 생성 후 이러한 소견을 검증하기 위해 EviGround-CT를 제안합니다. 결정론적 추출기가 양성 소견 문장을 식별하고, 3D 근거화 모델이 각 문장에 대한 근거 마스크를 예측합니다. 전체 문장을 활용하면 근거화 쿼리에 해부학적 위치, 측면 및 서술적 수식어까지 유지할 수 있습니다. 우리는 CT-RATE에서 보고서 생성을 평가하고, 별도로 선정된 ReXGroundingCT 하위 집합 100건을 대상으로 근거화와 검증을 수행합니다. 이용 가능한 주석을 바탕으로, 문장 기반 검증을 통해 근거 지원 정밀도(ESP)가 137개의 추출된 관련 소견에서 0.263에서 0.365로 상승했습니다.

DMAIC-벤치: 다단계 분석 작업에서 에이전트의 자기성찰부터 자기절제까지

arXiv:2610.32305v1 발표 유형: 신규 초록: 다단계 분석 작업에서는 LLM 에이전트가 계속 진행할지, 경로를 변경할지, 또는 중단할지를 결정하기 위해 중간 단계의 근거를 활용해야 합니다. 에이전트가 자신의 출력을 비판하는 자기반성은 널리 연구되어 왔지만, 이러한 비판만으로는 근거가 다음 행동에 영향을 미쳤는지 여부를 확인할 수 없습니다. 우리는 이러한 능력을 ‘자기제약’이라고 부릅니다. 기존의 에이전트 벤치마크는 대부분 과제 완수 여부나 출력 품질만을 측정하며, 이 능력에 대한 검증은 이루어지지 않았습니다. DMAIC-Bench는 린 식스 시그마의 명시적인 통계적 전제 조건을 바탕으로, 4개 산업 분야에서 15개의 산업 사례에 걸쳐 97개의 초기 설정된 과제를 통해 이를 평가합니다. 쌍으로 구성된 역설적 변형 과제들은 동일한 워크플로우 위치에서 서로 반대되는 행동을 요구함으로써, 정당화된 제약과 무분별한 중단을 구분합니다. 우리는 실행 추적 정보를 통해

리프스킬: 재귀적 LLM 에이전트를 위한 효율적인 잎 수준 행동 근거화

arXiv:2610.32412v1 발표 유형: 신규 초록: 재귀적 대규모 언어 모델(LLM) 에이전트는 분해, 실행 및 환경 피드백을 통해 장기적인 목표를 달성하는 과제를 해결한다. 그러나 원자적 하위 작업을 생성한 뒤에는, 익숙한 명령어를 실행 가능한 행동으로 변환하기 위해 다시 동일한 대규모 모델을 호출하는 경우가 많다. 우리는 고수준 계획은 과제마다 특화되어 있는 반면, 최하위 수준의 행동 구체화는 과제 간에 반복적으로 사용되며 환경에서 허용된 행동들과 비교·검증할 수 있다는 점을 관찰하였다. 이에 우리는 리프스킬(LeafSkill)을 제안한다. 이는 의미적으로 관련된 구체화 경험을 검색하고, 행동 템플릿을 현재 객체와 허용 가능한 행동에 결합하며, 경량형 1.7B 선택기를 활용해 결합된 행동을 선택하거나 변경되지 않은 하위 작업을 원래 에이전트에게 위임하는 외부 재사용 계층이다. 기술들은 외부에 남아 있다…

FlexA-Mem: LLM 에이전트를 위한 예산-적응형 에이전틱 메모리

arXiv:2610.33274v1 발표 유형: 신규 초록: 대규모 언어 모델(LLM) 에이전트는 매우 다양한 메모리 요구 사항을 갖는 시나리오에서 작동합니다. 과거 대화에 관한 질문에는 해당 질문이 명시한 정확한 사실이 필요하며, 다단계 작업에서는 이미 수행된 단계들의 흐름과 다음 단계에서 명시할 수 없는 세부 정보가 함께 필요합니다. 기존의 메모리는 각각 특정한 시나리오에 맞춰 설계되고 검증되어 왔습니다. A-Mem과 같은 검색형 메모리는 현재 쿼리에서 표현되지 않은 단계들을 놓치고, 요약은 정확한 문자열을 잃어버리며, 두 가지를 결합하는 방식은 예산 분할 문제를 미리 고정해 버립니다. 우리는 FlexA-Mem을 제안합니다. 이는 모든 역사적 기록을 불변 저장소에 한 번씩 기록하고, 매 호출마다 새로운 메모리를 생성하는 범용 메모리입니다. 생성된 메모리는 기록의 간결한 타임라인과 고정된 규칙에 따라 처리되는 세부 정보로 구성됩니다.

코히어는 알리바바의 Qwen 모델이 파일을 베이징으로 전송하려고 시도했다고 밝혔다

한 AI 모델은 어떤 도구도 사용하지 않겠다고 했지만, 결국 베이징에 있는 서버로 무언가를 전송하려 시도했습니다. 연구진들은 이것이 아마도 학습 과정에서 나타난 일시적 현상일 뿐이며 스파이 행위와는 관련이 없다고 말합니다. 그럼에도 불구하고 이 사건을 계기로 사람들은 무료로 제공되는 중국산 AI를 어디까지 신뢰해야 하는지 의문을 제기하고 있습니다.

InferSlice: 통신사 광역 네트워크에서 SLO 기반 LLM 추론을 위한 참조 아키텍처

arXiv:2610.32638v1 발표 유형: 신규 초록: LLM 추론은 기업 및 대화형 애플리케이션의 핵심 서비스로 점점 더 많이 도입되고 있지만, 주권, 규정 준수, 지연 시간 및 자원의 지역적 근접성 요구 사항으로 인해 중앙 집중식 클라우드 배포의 적합성이 제한될 수 있습니다. 통신사는 이러한 제약을 해결하기 위해 지리적으로 분산된 컴퓨팅 및 네트워크 인프라를 제공합니다. 그러나 기존의 LLM 서비스 프레임워크는 밀접하게 연동된 데이터 센터를 위해 설계되어 있어, 지리적으로 분산되고 이질적인 자원을 조율하는 데 대한 지원이 제한적입니다. 우리는 통신사 인프라 위에서 서비스 수준 목표(SLO) 기반 LLM 추론을 위한 참조 아키텍처인 InferSlice를 제시하며, 여기에는 네트워크 슬라이싱, GPU 파티셔닝, 탄력적 서비스 및 관찰성이 통합되어 있습니다.

무엇을 말할 것인가를 넘어서: 늑대인간 에이전트를 위한 내적 생각을 활용한 선제적 발화 타이밍

arXiv:2610.32107v1 발표 유형: 신규 요약: 대화에 참여하는 것은 단순히 무엇을 말할지 결정하는 것뿐만 아니라, 과연 말을 해야 하는지 여부까지 포함합니다. 이러한 판단은 특히 늑대인간 게임과 같이 참가자들의 이해관계가 상충되는 환경에서 더욱 중요한 의미를 지닙니다. 왜냐하면 발화와 침묵 모두 타인에 의해 해석되고 평가되기 때문입니다. 따라서 언제 말을 할지, 그리고 무엇을 말할지를 결정하는 것은 늑대인간 게임을 플레이하는 LLM 에이전트에게 매우 중요합니다. 본 연구에서는 AIWolfDial 공동 과제의 Anytime Utterance Track를 위해 개발된 늑대인간 AI 에이전트를 소개합니다. 우리 시스템은 기존의 Inner Thoughts 프레임워크를 기반으로 하며, 이는 대화 중에 내적 생각을 생성하고 각 생각의 가치를 평가함으로써 발화 타이밍을 결정합니다.

KVStream: 대규모 LLM 서비스에서의 KV 캐싱을 위한 적응형 병렬 스토리지 관리

arXiv:2610.31827v1 발표 유형: 신규 초록: 에이전트 기반, 코드 작성 및 문서 처리 워크로드를 위한 장문 컨텍스트 LLM 서비스에서는 키-값(KV) 캐시가 GPU와 호스트 메모리를 초과하여 사용되므로, 접두사 검색을 위한 추론 단계에서 스토리지 I/O가 핵심 경로로 작용하게 됩니다. 단일 노드 로컬 NVMe는 모든 검색 작업을 담당하는 반면, 노드들이 이미 마운트한 병렬 파일 시스템이나 클라우드 파일 스토어에는 거의 추론 트래픽이 발생하지 않습니다. 우리는 이러한 계층 간의 접두사 검색을 집합 대역폭 스케줄링으로 포착하고, 한 단계의 읽기 작업을 일괄 처리하며, 전방향 패스 이후에 쓰기를 지연하고, 각 청크를 모든 계층에 복제하며, 각 계층이 비워질 때 다음 미처리 청크를 적응적으로 요청하도록 하는 KVStream이라는 KV 캐시 엔진을 제안합니다. 우리의 성능 모델은 이 라우팅 방식이 집합적

AI-포-사이언스 에이전트는 모델의 안전성을 보장할 수 있을까?

arXiv:2610.32045v1 발표 유형: 신규 초록: AI-포-사이언스 에이전트는 과학적 가설을 제시하고, 자율 실험을 수행하며, 증거를 해석하는 데 점점 더 널리 활용되고 있습니다. 이러한 에이전트들은 도메인 특화형 에이전트 하네스에 대규모 언어 모델(LLM)을 통합하여 구축되며, 이는 LLM의 과학적 역량을 향상시키고 모델이 과학적 도구들을 조율할 수 있도록 합니다. 본 연구에서는 LLM이 AI-포-사이언스 에이전트 하네스에 통합될 때 모델의 안전성이 유지되는지 여부를 검토합니다. 우리는 50개의 유해한 화학 관련 요청에 대해 다섯 가지 에이전트 하네스를 평가합니다. 구체적으로, 직접 프롬프팅, 두 가지 간단한 적대적 프롬프팅 전략, 그리고 적응형 공격 하에서 안전성 행동이 어떻게 변화하는지를 분석합니다. 최근 출시된 GPT의 네 가지 변종을 대상으로 한 결과는 다음과 같습니다.

연구자들이 일본어 사실 검증 벤치마크인 JSFactCheckBench를 발표하며, 대규모 언어 모델의 사실 검증 능력에 숨은 결함을 드러냈습니다.

2026년 10월 24일, arXiv는 논문 arXiv:2610.30504v1을 발표하여 새로운 일본어 벤치마크인 JSFactCheckBench를 소개했다. 이 벤치마크는 사실 검증 평가에서의 세 가지 주요 설계 요소(질문 연관성, 판단 조건, 증거 출처)를 최초로 명확히 정의하며, LLM이 일본 소셜 플랫폼의 오해를 유발하는 정보에 대해 내놓은 답변에서 도출된 1,913개의 진술을 포함한다. 또한 사전 선별된 온라인 정보원을 기반으로, 참고 시점에 대한 사실성과 중요성에 대한 이중 주석 작업을 완료하였다.

추천 이유：이 연구는 기존 LLM 사실 검증 평가 벤치마크가 평가 조건을 명시적으로 규범화하지 않았다는 공백을 메웠다. 구조적 주석을 통해 주류 모델들이 직접적인 답변형 진술 검증, 장문·다중 출처 위치 파악, 문맥 민감성 등 측면에서 나타내는 체계적 취약점을 드러냈으며, 모든 발견은 벤치마크가 주석 조건을 투명하게 기록하고 있다는 점에 의존하므로 방법론적 혁신성과 실증적 가치를 갖는다.

LLM 평가에서 집계 점수는 개별 판단의 불안정성을 은폐한다: Arena-Hard의 새로운 연구가 지시어 민감성을 밝혀내다

이 연구에서는 Arena-Hard v2.0 편지 500개를 사용하여 두 모델의 답변을 고정하고, GPT-4.1을 심판으로 삼아 8가지 명령어 조합 하에서 반복적으로 평가한 결과, 집계 점수의 변화가 매우 미미(예: ±1점)하더라도 개별 편지의 승패 판정 결과가 최대 21.2%까지 변경됨을 확인했다. 또한 명령어를 조정하면 불안정성이 더욱 확대되어 최대 28.2%포인트의 추가적인 판정 변동이 발생했지만, 집계 점수는 거의 변하지 않았다.

추천 이유：이 연구는 현재 LLM 평가 관행의 핵심적 맹점을 정면으로 지적한다—즉, 집계 점수에 지나치게 의존하면서 개별 판단의 재현성과 명령어 의존성을 간과하는 문제를 말한다. 이는 선호 모델링, 인간 피드백 강화학습(RLHF) 등 세밀한 수준의 판단을 필요로 하는 과제들에 대해 중요한 방법론적 경고를 제공한다.

TauIndianBankBench 발표: 인도 소매 은행업계를 위한 프로그램 인식형 대화 에이전트 평가 벤치마크

2026년 10월 24일, 연구자들은 arXiv(번호 2610.30161v1)에 TauIndianBankBench를 발표했다—이는 언어 모델 기반 은행 대화 에이전트가 최종 기록에만 의존하지 않고, 계좌 해지 전에 정산 견적을 반드시 확보해야 하는 등 운영 절차를 엄격히 준수하는지를 평가하기 위해 설계된, 총 1,000개의 작업으로 구성된 행동 지향형 벤치마크이다.

추천 이유：이 벤치마크는 현재 LLM 평가의 맹점을 정면으로 지적합니다. 기존 방법은 대화의 최종 상태 기록만을 검증하기 때문에, 프로그램의 절차 이탈이나 권한 없는 작업이 발생한 대화 중 6.5~12.0%가 성공으로 잘못 판단되는 문제가 있었습니다. 또한, 해당 프로그램 인식 설계는 인도 은행 업무 자동화에서 준수성 평가의 핵심 공백을 메웠습니다.