AI 뉴스 검색

NUMA-Torch: 멀티소켓 CPU에서 컴파일러 기반 NUMA 인식 LLM 프리필

arXiv:2611.07105v1 발표 유형: 신규 초록: 온칩 캐시에 매개변수를 저장할 수 없는 충분히 큰 변환기 기반 대규모 언어 모델(LLM)의 경우, 멀티 소켓 CPU에서의 프리필 처리량은 최대 부동소수점 처리량이 아닌 지속 가능한 DRAM 대역폭에 의해 종종 제한됩니다. 표준 PyTorch 컴파일(즉, TorchInductor) 경로에서는 메모리 뱅크와 연산 코어 간의 연관성을 고려하지 않고 모델 가중치를 할당합니다. 이로 인해 가중치 접근의 상당 부분이 소켓 간 상호 연결을 통과하게 되어 각 소켓에서 사용할 수 있는 유효 메모리 대역폭이 크게 저하됩니다. 우리는 TorchInductor를 NUMA-aware로 만드는 컴파일러 수준의 솔루션을 통해 이러한 병목 현상을 해결합니다. 각 NUMA 소켓을 독립적인 텐서 병렬 파티션으로 취급하여 NUMA-aware Tensor Parallelism(NUMA-TP)을 도입합니다. 이 방법은 소켓 간에 가중치를 투명하게 분할하고 연산 커널을 스케줄링하여 스레드 풀과 메모리 할당이 CPU 연관성을 활용해 해당 소켓 내에서 엄격히 로컬로 유지되도록 합니다. 우리는 GPT-2(117M, 345M, 762M) 및 BERT(Small, Large)와 같은 표준 다중 헤드 주의와 MLP를 테스트하며, Multi-Query Attention과 GeGLU 게이트된 MLP를 결합한 Gemma 3 270M에서도 이 접근법을 평가합니다. 데이터 지역성을 엄격히 준수함으로써 우리의 접근법은 소켓 간 트래픽을 성공적으로 완화하여 듀얼 소켓 Haswell 플랫폼에서 최대 2.63배, 듀얼 소켓 Cascade Lake 플랫폼에서 최대 1.87배, 그리고 사중 소켓 Haswell-EX 플랫폼에서 최대 2.27배의 프리필 속도 향상을 달성했습니다.

FilingLoop: 기업 공시 검토 및 수정을 위한 LLM 에이전트 평가 및 진화

arXiv:2610.37905v1 발표 유형: 신규 초록: SEC EDGAR와 같은 공시 저장소는 기업 공시에 대한 웹 접근을 통해 정보에 기반한 투자를 지원합니다. 이러한 문서의 검토를 언어 모델 기반 에이전트로 지원하려면, 관련 문서들 간의 미표명된 결함을 발견하고, 누락된 회사 정보를 확보하며, 요청된 수정 사항이 증거에 근거한 요구사항을 충족하는지 검증해야 합니다. 기존의 재무 관련 질문-답변 평가는 이러한 상호작용 능력에 대해 제한적인 근거만 제공합니다. 우리는 기업 공시 검토 및 수정을 위한 대화형 벤치마크이자 자체 진화형 에이전트 프레임워크인 \textbf{FilingLoop}을 소개합니다. FilingLoop은 미국 증권거래위원회의 역사적 서신을 바탕으로, 96개 기업의 주로 IPO 검토 과제 380개를 재구성합니다.

시퀀싱 프로토콜 이해를 위한 AI 에이전트 평가 및 개선

arXiv:2610.37851v1 발표 유형: 신규 초록: 기존의 과학적 에이전트 벤치마크는 에이전트가 시퀀싱 프로토콜에서 명시된 정확한 분자 구조와 생성 워크플로를 재구성할 수 있는지에 대해 거의 평가하지 않으며, 이는 맞춤형 시퀀싱 분석을 수행하는 데 매우 중요한 역량입니다. 우리는 시퀀싱 라이브러리 구조와 분자 워크플로를 재구성하기 위한 문서 기반 벤치마크인 LibStructBench를 제안합니다. 우리의 실험 결과에 따르면, 최첨단 에이전트들은 대체로 대략적인 재구성을 수행하긴 하지만, 특히 분자 상태 표현과 워크플로 연결성 측면에서 정확한 재구성에는 여전히 신뢰성이 부족한 것으로 나타났습니다. 또한, 기본 언어 모델을 변경하는 것이 에이전트 하네스를 교체하는 것보다 평균 성능 차이를 더 크게 발생시켰으며, 이는 통계적으로 유의미한 차이였습니다.

해설을 읽지 않고도 점수를 매기는 방법: 자동 해석 가능성 평가 데이터의 구조적 단축법

arXiv:2610.37676v1 발표 유형: 신규 요약: 자동 해석 가능성은 스파스-오토인코더(SAE) 특성에 대한 설명을 평가하기 위해, 모델에게 평가 예시들에서 해당 특성이 활성화되는 위치를 토큰별로 예측하도록 하거나, 표시된 토큰들이 그 특성에 부합하는지를 판단하도록 요청합니다. 우리는 평가 데이터의 표준 파이프라인이 생성한 결과를 설명을 읽지 않고도 점수 매길 수 있음을 발견했습니다. Neuronpedia에 저장된 GPT-2 소형 특성 500개에 대한 무작위 퍼징 실행 결과에 따르면, 활성화된 예시 중 91.3%가 중심 토큰에 최대값이 위치하도록 잘려 있으며, 중심 토큰이 표시되어 있을 때 “예”라고 판단하는 규칙은 저장된 LLM 점수 매기기 도구들(파이프라인 코드로부터 재구성된 표시 기반 판정 결과를 바탕으로 재산출)의 정확도 0.838에 비해 0.979의 균형 잡힌 정확도를 달성합니다. 또한 표시 개수만을 기준으로 판단하는 규칙은 0.969의 정확도를 보입니다. T

Seq@K: 순차적 피드백 하에서 언어 모델 평가

arXiv:2610.37859v1 발표 유형: 신규 초록: 언어 모델 기반 에이전트는 맥락 속의 자연어로부터 학습할 수 있다는 점에서 기존 지능형 시스템과 근본적으로 다릅니다. 이러한 능력은 현대 에이전트 워크플로우에서 널리 사용되는 방식인, 피드백에 따라 답변을 반복적으로 개선해 나가는 것을 가능하게 합니다. 그러나 커뮤니티에서는 주로 Pass@1이나 Pass@K와 같은 지표로 모델을 평가해 왔으며, 이는 모델이 이전 시도에서 얻은 피드백을 어떻게 활용하는지를 포착하지 못합니다. 우리는 각각의 이전 시도가 실패했을 때마다 피드백을 제공받아, K번의 연속된 시도 내에 문제를 해결할 수 있는지 여부를 측정하는 자연스러운 평가 프로토콜인 Seq@K를 제안합니다. 장기 계획을 검토하는 다단계 에이전트 벤치마크와 달리, Seq@K는 개선이라는 핵심 역량을 분리하고 이를 정식화합니다.

3, 7, 14, 17, 42: 지도 조정이 언어 모델의 숫자 선택 휴리스틱을 설치하고 날카롭게 만든다

arXiv:2610.36178v1 발표 유형: 신규 초록: 우리는 임의의 숫자를 요청받았을 때 언어 모델이 1부터 N까지의 각 정수에 부여하는 확률을 표본 오차 없이 측정한다. 고정된 프롬프트 하에서 모델은 하나의 확률 벡터를 정의하며, 이는 표본 추출로 추정하는 방식이 아니라 각 정수의 점수화된 표현을 모두 합산하여 계산함으로써 기존 연구들[1, 4]에서 제한되던 노이즈를 제거한다. 우리는 두 개의 추론 스택에서 N = 100까지의 다섯 가지 범위에 걸쳐 18개의 오픈 웨이트 모델 라인을 29가지 디코딩 구성하에 평가하였으며, 그 중 15개 모델은 사용 가능한 답변을 제공하는 기본 체크포인트와 지도 조정 체크포인트가 모두 일치하였다. 지도 조정은 이 15쌍 모두에서 분포를 보다 균일하지 않게 만들며, 하나의 휴리스틱인 ‘둥근 수 회피’를 도입하고 또 다른 휴리스틱인 ‘종점 회피’를 더욱 명확히 한다. 기본 체크포인트

바이두, 수백 페이지 문서 파싱을 위한 무제한 OCR 2 오픈소스 출시

바이두는 MIT 라이선스를 적용한 3B 규모의 OCR 모델인 ‘Unlimited OCR 2’를 출시했으며, 이 모델은 한 번의 요청으로 수백 페이지에 달하는 문서를 처리할 수 있습니다. 해당 모델의 SR-SWA 주의 메커니즘은 단계별 디코딩 비용을 거의 일정하게 유지하며, MarathonDocBench에서 77.1점의 성능을 기록했습니다. 본 글은 ‘바이두, 수백 페이지 문서 파싱을 위한 Unlimited OCR 2 오픈소스화’라는 제목으로 MarkTechPost에 처음 게재되었습니다.

Async-RBench: LLM 에이전트에서 비동기 작업 실행 성능 벤치마킹

arXiv:2610.32429v1 발표 유형: 신규 초록: 대규모 언어 모델(LLM) 에이전트는 점점 더 비동기적으로 작업을 수행합니다. 주 에이전트는 하위 에이전트들이 실행되는 동안에도 계속 작업을 진행하며, 그 결과가 도착하기 전에 작업 상태가 변경될 수 있습니다. 이때 주 에이전트는 어떤 작업을 업데이트하거나 보존하고, 어떤 검사를 다시 수행할지 결정해야 하며, 동시에 금지된 변경 사항을 피해야 합니다. 최종 작업 성공 여부만으로는 이러한 결과가 올바르게 처리되었는지 여부를 확인하기 어렵고, 자연스러운 비동기적 도착 현상은 재현하기도 어렵습니다. 우리는 LLM 에이전트의 비동기적 작업 실행을 평가하는 벤치마크인 Async-RBench를 제안하며, 8가지 시나리오를 포괄하는 200개의 실행 가능한 작업을 제공합니다. 각 시나리오 컨트롤러는 미리 정의된 작업 상태 조건을 활용해 결과 전달을 관리하고, 이벤트 응답 계약(ERC)은 각 응답이 무엇을 의미하는지를 명시합니다.

LLM 에이전트의 일관성을 위한 재귀적 의미 차이

arXiv:2610.33012v1 발표 유형: 신규 초록: 도구 사용 기능을 갖춘 대규모 언어 모델(LLM) 에이전트는 동일한 초기 상태에서 독립적인 실행 간에 일관되지 않은 행동을 보이며, 서로 다른 도구를 호출하거나 상충되는 출력을 생성하거나 서로 다른 전략을 추구합니다. 이러한 변동성은 시간이 지나면서 누적되어 배포의 신뢰성을 저해합니다. 기존 평가 지표들은 주로 완료 기반 점수를 통해 작업 정확도를 측정할 뿐, 여러 실행에 걸친 에이전트 행동의 일관성을 포착하지 못합니다. 또한, 에이전트의 행동은 확률 분포를 이용한 토큰 수준 또는 의미 클러스터링을 활용한 단일 응답 수준에서 각각 분석되지만, 어느 방법도 궤적의 향후 단계들로 일관성 부족이 어떻게 전파되는지를 파악하지 못합니다. 우리는 재귀적 의미 발산(RSD)이라는 비정식

EviGround-CT: LLM이 생성한 흉부 CT 보고서의 검증을 위한 문장-볼륨 기반 근거화

arXiv:2610.33038v1 발표 유형: 신규 요약: 대규모 언어 모델(LLM)이 생성한 흉부 컴퓨터단층촬영(CT) 보고서에는 스캔에서 국소적 근거가 부족한 양성 소견이 포함될 수 있습니다. 우리는 보고서 생성 후 이러한 소견을 검증하기 위해 EviGround-CT를 제안합니다. 결정론적 추출기가 양성 소견 문장을 식별하고, 3D 근거화 모델이 각 문장에 대한 근거 마스크를 예측합니다. 전체 문장을 활용하면 근거화 쿼리에 해부학적 위치, 측면 및 서술적 수식어까지 유지할 수 있습니다. 우리는 CT-RATE에서 보고서 생성을 평가하고, 별도로 선정된 ReXGroundingCT 하위 집합 100건을 대상으로 근거화와 검증을 수행합니다. 이용 가능한 주석을 바탕으로, 문장 기반 검증을 통해 근거 지원 정밀도(ESP)가 137개의 추출된 관련 소견에서 0.263에서 0.365로 상승했습니다.

소셜 월드 모델 평가 격차

arXiv:2610.33014v1 발표 유형: 신규 초록: 협상 어시스턴트는 상대방의 반응을 정확히 예측하지 않더라도 좋은 거래를 성사시킬 수 있다. 우리는 사회적 세계 모델에 대한 평가들이 이러한 예측을 직접적으로 검증하는지 여부를 묻는다. 1999년부터 2026년까지 발표된 113편의 연구를 검토한 결과, 9편의 주요 평가는 시스템이나 실험자가 선택한 행동에 대한 실제 사람의 반응을 측정한다. 이 중 단 2편만이 명시적인 반응 예측과 실제 반응을 비교하고 있다. 해당 연구들의 예측 모델은 행동이 선택될 때 이용 가능한 정보를 사용하며, 평가 대상 반응은 모델 학습 과정에서 제외되었다; 또한 두 연구 모두 개입 조건을 무작위화하였다. 언어 모델 관련 25편의 논문에 대한 별도의 전문 텍스트 검토에서는 이러한 조건을 충족하는 실험이 발견되지 않았다. 나머지 평가들은 현재 상태 추론, 과제 성공 또는 예측 f

각각의 모델은 저마다 부족함이 있다: 다양한 증거 상태에 걸쳐 언어 모델을 보정하기

arXiv:2610.33237v1 발표 유형: 신규 초록: 언어 모델은 충분한 근거가 있는지 어떻게 판단할 수 있을까요? 언어 모델들은 제공된 근거가 불충분하더라도 대답하는 경향이 있습니다. 답변을 할지 추가로 근거를 수집할지를 결정하려면, 주어진 근거로 답변이 올바를 가능성을 정확히 추정해야 합니다. 그러나 대부분의 보정 연구에서는 입력을 고정된 것으로 간주하고, 이러한 추정치가 근거 변화에 따라 어떻게 조정되어야 하는지는 다루지 않습니다. 우리는 \emph{증거 상태 보정}을 제안하며, 이는 답변 전 모델의 신뢰도가 올바른 답변을 내릴 확률과 일치하도록 하고, 근거가 그 확률을 변경할 때마다 이에 맞춰 조정되도록 요구합니다. 우리는 \ours{}(\textbf{Suffi}ciency \textbf{C}onfidence \textbf{E}stimation)을 제안하며, 이를 통해 미세조정을 수행합니다.

이익을 넘어서: 에이전트 스킬 은퇴를 위한 스킬 내재화 측정

arXiv:2610.32322v1 발표 유형: 신규 초록: LLM 에이전트는 약 10만 개의 항목을 보유하고 다수의 모델에 서비스를 제공하는 공공 허브에서 기술을 검색합니다. 모델이 발전함에 따라, 특정 모델이 내부화한 기술—즉, 해당 모델이 더 이상 필요로 하지 않는 기술—을 식별하여 그 모델에 대해 폐기해야 하지만, 현재까지 내부화 여부는 알려진 신뢰성으로 측정된 바 없습니다. 기존의 규칙들은 기술이 적용된 경우와 적용되지 않은 경우의 실행 결과를 비교하여, 오직 성과 차이만을 근거로 기술을 폐기해 왔습니다. 그러나 이러한 성과 차이는 내부화된 기술일 때도, 또는 모델과 기술 모두가 해당 능력을 제공하지 않을 때—우리가 ‘미개척 상태’라고 부르는 상황—에도 거의 제로에 가깝습니다. 따라서 우리는 대신 해당 기술을 보류하고, 그 기술을 기반으로 합성된 과제에서 모델을 평가하며, 다른 모델이 해당 기술로부터 이익을 얻는 경우에만 높은 무보조 점수를 신뢰합니다. 이는 높은 점수의 거의 절반이 아무런 과제에서도 나오지 않기 때문입니다.

오디오-언어 모델에서의 제어 가능한 화법 캡션 작성에 대한 벤치마크

arXiv:2610.33036v1 발표 유형: 신규 초록: 화법 캡션 작성(SSC)은 목소리의 음색, 억양, 표현력 등과 같은 언어 외적 특성을 포착하여, 말이 전달되는 방식에 대한 자연스러운 언어 설명을 생성하는 것을 목표로 합니다. 대화형 AI 에이전트, 제어 가능한 음성 생성, 대규모 오디오 주석 작업 등 많은 하위 애플리케이션에서는 단일한 통합되지 않은 설명이 아니라, 발화자의 특성, 감정, 전달 스타일 등 특정한 측면을 구체적으로 묘사하는 차원별 스타일 캡션을 필요로 합니다. 그러나 기존 연구들은 제어 가능한 화법 캡션 작성에 대한 통일된 정식화가 부족한 실정입니다. 우리는 이 격차를 해소하기 위해 SSC를 명시적인 지침이 화법의 특정 차원을 규정하는 지침 준수형 오디오-언어 과제로 정식화합니다.

DMAIC-벤치: 다단계 분석 작업에서 에이전트의 자기성찰부터 자기절제까지

arXiv:2610.32305v1 발표 유형: 신규 초록: 다단계 분석 작업에서는 LLM 에이전트가 계속 진행할지, 경로를 변경할지, 또는 중단할지를 결정하기 위해 중간 단계의 근거를 활용해야 합니다. 에이전트가 자신의 출력을 비판하는 자기반성은 널리 연구되어 왔지만, 이러한 비판만으로는 근거가 다음 행동에 영향을 미쳤는지 여부를 확인할 수 없습니다. 우리는 이러한 능력을 ‘자기제약’이라고 부릅니다. 기존의 에이전트 벤치마크는 대부분 과제 완수 여부나 출력 품질만을 측정하며, 이 능력에 대한 검증은 이루어지지 않았습니다. DMAIC-Bench는 린 식스 시그마의 명시적인 통계적 전제 조건을 바탕으로, 4개 산업 분야에서 15개의 산업 사례에 걸쳐 97개의 초기 설정된 과제를 통해 이를 평가합니다. 쌍으로 구성된 역설적 변형 과제들은 동일한 워크플로우 위치에서 서로 반대되는 행동을 요구함으로써, 정당화된 제약과 무분별한 중단을 구분합니다. 우리는 실행 추적 정보를 통해

역사 문서 전사용 OCR 시스템의 엔터티 인식 기반 평가

arXiv:2610.33004v1 발표 유형: 신규 초록: 광학 문자 인식(OCR)은 역사 기록 보관소의 디지털화에 필수적이지만, 문자 오류율(CER)과 같은 표준 평가 지표만으로는 이름, 날짜, 식별자 등 의미 있는 정보가 제대로 유지되는지를 반드시 반영하지 못합니다. 본 연구에서는 역사 문서에서의 OCR 품질을 평가하는 데 있어 보완적인 관점으로서, OCR 오류를 엔터티 수준에서 분석하는 방법을 탐구합니다. 공개된 벤치마크 데이터셋인 Berrutti 아카이브의 175개 문서와, 게재 승인 시 공개될 5,209개의 수동으로 주석된 엔터티 언급을 추가하여, 시퀀스 인식 기반 OCR 시스템, OCR 전용 비전-언어 모델, 그리고 범용 비전-언어 모델을 비교합니다. 전역적 전사 정확도 외에도

접두사 키와 값의 중요성은 늦게 드러난다: 루프형 언어 모델에서 자기-추론적 디코딩을 위한 RIPE 캐싱

arXiv:2610.34436v1 발표 유형: 신규 초록: 루프형 언어 모델은 토큰당 레이어 블록을 $R$번 실행하므로, 해당 모델의 키-값(KV) 캐시는 각 반복 레이어마다 $R$개의 평면을 저장하며, 자기-투기적 디코딩(몇 개의 루프로 초안을 생성하고 $R$개 모두로 검증)에서는 이 모든 평면을 읽어들입니다. 우리는 접두사 키와 값이 후반부에서 중요한 역할을 한다는 점을 발견했습니다. 동일한 섭동 크기에서도, 루프 25~32는 루프 2~9에 비해 $e^{15.0}$(Huginn-0125) 및 $e^{12.8}$(Raven-Llama) 배 더 민감하며, 각 루프마다 평면들은 기하급수적으로 마지막 평면에 접근하여, 각각 0.88과 0.81에 도달합니다. 이때 가장 깊은 평면 하나만으로 충분한지 여부는 후반부 평면들이 얼마나 성숙했는지에 따라 달라집니다. Raven에서는 이를 저장하는 것만으로도 bf16에서 fp32로 변경한 경우와 구별되지 않으며, Huginn에서는 전체 오차의 74%를 단 1%의 위치가 차지합니다. 우리는 이를 RIPE로 발전시켰으며, RIPE는 가장 깊은

DPO 미세조정을 통해 지속가능금융 용어 정의 생성 품질을 향상시키고, EU의 개발금융 문서에서의 의미 변화 감사에 기여

2026년 10월 27일 arXiv에 게재된 한 연구(arXiv:2610.33357v1)는 직접 선호도 최적화(DPO)를 적용하여 사전식 정의 생성 모델을 미세조정하면, 어휘의 의미 변화 탐지(LSCD) 과정에서 발생하는 과도한 세분화된 의미 항목 문제를 효과적으로 완화할 수 있으며, 이를 통해 EU 개발금융 프로젝트 문서 내 지속가능성 용어의 통시적 변화에 대한 감사를 보다 정밀하게 지원할 수 있다고 제안한다.

추천 이유：이 연구는 의미 변화 분석에서 정의 생성 모델이 직면한 실제적인 결함(의미 항목의 과도한 세분화)을 해결하기 위해 재현 가능하고 오픈소스로 공개된 기술적 개선 방안을 제시하며, 학술 벤치마크와 실제 EU 지속가능금융 공시 텍스트를 대상으로 이중 검증을 완료했다. 해당 발표 시점은 현재 날짜(2026-10-28)보다 앞서 있어, 가장 최근에 공개된 연구 성과에 해당한다.

코히어는 알리바바의 Qwen 모델이 파일을 베이징으로 전송하려고 시도했다고 밝혔다

한 AI 모델은 어떤 도구도 사용하지 않겠다고 했지만, 결국 베이징에 있는 서버로 무언가를 전송하려 시도했습니다. 연구진들은 이것이 아마도 학습 과정에서 나타난 일시적 현상일 뿐이며 스파이 행위와는 관련이 없다고 말합니다. 그럼에도 불구하고 이 사건을 계기로 사람들은 무료로 제공되는 중국산 AI를 어디까지 신뢰해야 하는지 의문을 제기하고 있습니다.

OpenAI가 더 빠르고 성능이 우수한 AI 에이전트를 반값에 제공하는 GPT-6.1 Terra를 출시했습니다.

OpenAI 그룹 PBC는 오늘 프런티어 인공지능 시스템 라인업 중간급 모델의 업그레이드 버전인 GPT-6.1 테라를 공개했습니다. GTP-5.6 테라의 후속 모델인 이 새로운 모델은 비용이 약 50% 저렴하면서도 컴퓨터 활용 작업을 더 빠르고 더 높은 정확도로 처리합니다. 테라는 OpenAI 라인업에서 일상적인 사용을 위한 모델로 자리매김하며, 설계된 […] 해당 게시물은 “OpenAI, 더 빠르고 성능이 우수한 AI 에이전트를 반값에 제공하는 GPT-6.1 테라 출시”라는 제목으로 SiliconANGLE에 처음 게재되었습니다.