제목, 요약, 본문을 검색해 흩어진 정보를 연결하세요.
arXiv:2610.37905v1 발표 유형: 신규 초록: SEC EDGAR와 같은 공공 정보 공개 저장소는 기업의 제출 서류에 대한 웹 접근을 통해 정보에 기반한 투자를 지원합니다. 이러한 문서 검토를 언어 모델 에이전트로 지원하려면, 관련 문서들 간에 명시되지 않은 결함을 발견하고 누락된 기업 정보를 수집하며, 요청된 수정 사항이 증거에 근거한 요구사항을 충족하는지 검증해야 합니다. 기존의 재무 관련 질의응답 평가들은 이러한 상호작용 능력에 대해 제한적인 근거만 제공합니다. 우리는 기업 공시 검토 및 수정을 위한 대화형 벤치마크이자 자체 진화형 에이전트 프레임워크인 \textbf{FilingLoop}을 소개합니다. 미국 증권거래위원회의 역사적 문서 교환을 바탕으로 FilingLoop은 96개 기업의 주로 IPO 심사 관련 380개 과제를 재구성합니다.
arXiv:2610.37680v1 발표 유형: 신규 초록: 최첨단 언어 모델과 소규모 언어 모델 간의 격차를 좁히는 방법으로는 일반적으로 디스틸레이션 기법이 사용됩니다. 이는 소규모 모델(학생)을 최첨단 모델(교사)의 출력에 대해 미세조정함으로써, 전이 과정이 학습용 컴퓨팅 자원에 의존하게 만들고 전달된 지식은 상당히 투명하지 않은 상태로 남게 합니다. 우리는 아티팩트 디스틸레이션을 제안합니다. 교사는 학습 사례를 해결하고 그 문제 해결 절차를 아티팩트 은행에 외부화하며, 학생은 추론 시 해당 은행을 조회하여 이를 활용합니다. 이 과정에서는 파라미터 업데이트가 전혀 발생하지 않습니다. LiveBench의 네 가지 과제에서, Claude Opus 4.5가 작성한 은행을 사용하면 Claude Haiku 4.5가 공간 추론에서 비지원 Claude Sonnet 4.5보다 60%의 비용으로 더 높은 성능(0.707 대 0.647)을 보이며, 테이블 조인 작업에서는 Sonnet 4.5 수준에 도달하는 데 89%의 비용만 들입니다. 동일한 원시 은행은
arXiv:2610.37851v1 발표 유형: 신규 초록: 기존의 과학적 에이전트 벤치마크는 시퀀싱 프로토콜에서 명시된 정확한 분자 구조와 생성 워크플로를 재구성할 수 있는지 여부를 거의 평가하지 않으며, 이는 맞춤형 시퀀싱 분석을 수행하는 데 매우 중요한 역량입니다. 우리는 시퀀싱 라이브러리 구조와 분자 워크플로를 재구성하기 위한 문서 기반 벤치마크인 LibStructBench를 제안합니다. 우리의 실험 결과에 따르면, 최첨단 에이전트들은 대체로 대략적인 재구성을 수행하긴 하지만, 특히 분자 상태 표현과 워크플로 연결성 측면에서 정확한 재구성에는 여전히 신뢰성이 부족한 것으로 나타났습니다. 또한, 기본 언어 모델을 변경하는 것이 에이전트 하네스를 교체하는 것보다 평균 성능 차이를 더 크게 발생시켰으며, 이는 통계적으로 유의미한 차이였습니다.
arXiv:2610.37676v1 발표 유형: 신규 초록: 자동 해석 가능성은 스파스 오토인코더(SAE)의 특성에 대해, 평가 예제들에서 해당 특성이 언제 활성화되는지를 모델에게 토큰 단위로 예측하도록 하거나, 표시된 토큰들이 그 특성에 부합하는지 여부를 판단하도록 함으로써 점수를 매긴다. 우리는 평가 데이터의 표준 파이프라인이 설명을 읽지 않고도 점수를 매길 수 있음을 발견했다. Neuronpedia에 저장된 500개의 임의 GPT-2 소형 특성에 대한 퍼징 실행 결과에 따르면, 활성화된 예제의 91.3%가 중심 토큰에 최대값이 위치한 상태로 잘려 나오며, 중심 토큰이 표시되어 있을 때 “예”라고 판정하는 규칙은 저장된 LLM 점수계보다 높은 균형 정확도 0.979를 달성한다(파이프라인 코드로부터 재구성된 표시를 기반으로 계산됨); 반면 표시 개수만을 기준으로 판단하는 규칙은 0.969의 정확도를 기록한다. T
arXiv:2610.37859v1 발표 유형: 신규 초록: 언어 모델 기반 에이전트는 맥락 속 자연어로부터 학습하는 능력에서 이전의 지능형 시스템들과 근본적으로 차별화된다. 이러한 능력은 에이전트가 피드백에 따라 답변을 반복적으로 개선할 수 있게 하며, 이는 현대 에이전트 기반 워크플로우에서 널리 채택되는 작동 방식이다. 그러나 연구 커뮤니티는 주로 Pass@1이나 Pass@K와 같은 지표로 모델을 평가하는데, 이러한 지표들은 모델이 이전 시도에서 얻은 피드백을 어떻게 활용하는지를 포착하지 못한다. 우리는 Seq@K를 제안하며, 이는 각각의 이전 실패 이후 피드백을 제공받는 조건하에 K번의 연속적인 시도 내에 문제를 해결할 수 있는지 여부를 측정하는 자연스러운 평가 프로토콜이다. 장기적 계획을 검토하는 다단계 에이전트 벤치마크와 달리, Seq@K는 개선이라는 핵심 역량을 분리하고 이를 형식화한다.
arXiv:2610.36083v1 발표 유형: 신규 초록: 생성형 AI의 최근 발전은 사후 학습된 금융 전용 대규모 언어 모델(LLMs)을 통해 금융 감성 분석을 크게 향상시켰습니다. 그러나 기존 접근법들은 각 기사의 감성을 개별적으로 예측하는 데에 그치고, 흑백 상자와 같은 방식으로 작동하여 맥락 이해를 제한하고 고위험 금융 의사결정에의 적용을 저해합니다. 이에 따라 우리는 FinLLM-KG를 제안합니다. 이는 모델에 독립적인 프레임워크로, 인과적 LLM과 금융 지식 그래프를 결합하여, 모델 가중치를 업데이트하지 않고도 추론 시 SEC 10-K 서류로부터 시간적 근거를 갖춘 기업 수준의 지식을 주입할 수 있도록 설계되었습니다. FinLLM-KG 내에서는 맥락이 자연어로 작성된 기업 프로필 또는 소규모 관계 집합의 형태로 제공됩니다.
arXiv:2610.36523v1 발표 유형: 신규 초록: 에이전트들이 더 긴 작업을 협업하는 과정에서, 작업이 완료되기 전에 책임이 모델 간에 이양될 수 있습니다. 수신 모델은 남아 있는 요구사항을 해결하면서, 이전의 결정, 관찰 및 행동을 바탕으로 작업을 이어가야 합니다. 이러한 전환 과정을 평가하려면, 인수 이전에 보존된 정보와 수신 모델이 어떻게 작업을 계속해 나가는지 사이의 관계를 연결해야 하며, 이는 단순히 작업 성공률과 기억 유지 점수만으로는 포착할 수 없습니다. 우리는 인수 이행 상태 연속성 벤치마크(HSC-Bench)를 도입하며, 이는 작업 인수의 두 가지 상호보완적인 측면을 평가하는 1,039개의 과제로 구성되어 있습니다: 관련 저장소 증거를 복구하고, 이미 설정된 대화, 도구 및 파일 작업 상태에서 계속 진행하는 능력입니다. 여섯 개의 수신 모델 간 비교 결과에 따르면, 구조적…
arXiv:2610.36178v1 발표 유형: 신규 초록: 우리는 임의의 숫자를 요청받았을 때 언어 모델이 1부터 N까지의 각 정수에 부여하는 확률을 표본 오차 없이 측정한다. 고정된 프롬프트 하에서 모델은 하나의 확률 벡터를 정의하며, 이는 표본 추출로 추정하는 방식이 아니라 각 정수의 점수화된 표현을 모두 합산하여 계산함으로써 기존 연구들[1, 4]에서 제한되던 노이즈를 제거한다. 우리는 두 개의 추론 스택에서 N = 100까지의 다섯 가지 범위에 걸쳐 18개의 오픈 웨이트 모델 라인을 29가지 디코딩 구성하에 평가하였으며, 그 중 15개 모델은 사용 가능한 답변을 제공하는 기본 체크포인트와 지도 조정 체크포인트가 모두 일치하였다. 지도 조정은 이 15쌍 모두에서 분포를 보다 균일하지 않게 만들며, 하나의 휴리스틱인 ‘둥근 수 회피’를 도입하고 또 다른 휴리스틱인 ‘종점 회피’를 더욱 명확히 한다. 기본 체크포인트
arXiv:2610.36709v1 발표 유형: 신규 초록: 추론형 언어 모델은 수학 문제를 풀 때 긴 사고 과정을 작성하며, 문제당 여러 개의 사고 경로를 샘플링한 뒤 다수결을 통해 정답을 도출하는 방식으로 정확도를 높이지만, 이는 생성된 텍스트의 양이라는 큰 비용을 동반한다. 이러한 비용을 줄이는 대표적인 방법으로는, 모델이 각 토큰을 작성할 때 갖는 확신 정도를 기준으로 각 경로에 점수를 부여하고, 여기서 토큰은 단어 또는 단어의 일부를 의미한다. 이 방법에서는 2048개의 토큰으로 구성된 이동 창(window)을 기준으로 해당 확신 값을 평균화한 뒤, 가장 낮은 평균값을 기준으로 경로를 유지하거나 중단한다. 우리는 토큰별로 기록된 이러한 확신 값을 오디오나 라디오 신호의 맥락에서의 신호로 간주하고, 스펙트럼 분석 및 갑작스러운 변화를 탐지하기 위한 통계적 검정과 같은 표준 신호 처리 도구를 활용해 이 방법을 검토하였다. 우리는 다음에서 출처:
arXiv:2610.33017v1 발표 유형: 신규 요약: 영어 중심의 말뭉치로 학습된 다국어 토큰라이저는 종종 인도계 언어를 과도하게 세분화하여, 결과적으로 더 긴 토큰 시퀀스와 각 스크립트 간의 토큰화 격차를 초래합니다. 우리는 AdaptTok-Indic을 제안합니다. 이는 유니코드 정규화 전처리와 명시적인 인도계 결합 처리, 스크립트 인식형 라우팅, 그리고 소규모 트랜스포머 언어 모델과 함께 공동 학습된 학습 기반 바이트 수준 경계 예측을 결합한, 인도계에 특화된 적응형 토큰라이저 확장입니다. 벵골어와 힌디어를 대상으로 평가했으며, 구자라트어, 타밀어, 텔루구어에 대해서도 추가 평가를 수행한 결과, AdaptTok-Indic은 인도계 지향 토큰라이저 베이스라인인 SentencePiece BPE 및 독립적으로 구현된 MAGNET 방식 베이스라인보다 낮은 토큰 비율을 달성했습니다. 다섯 가지 기록된
arXiv:2610.34907v1 발표 유형: 신규 초록: NVIDIA Hopper에서 도입된 텐서 메모리 가속기(TMA)는 실제 생산 환경의 GPU 커널에서 광범위하게 사용되고 있지만, 그 활용은 상당히 선택적입니다. CUTLASS, FlashAttention-3, FlashInfer 등에서 활동하는 전문 커널 개발자들은 커널 내 일부 텐서 피연산자에 대해 TMA를 적용하되, 다른 피연산자에 대해서는 cp.async, 직접 글로벌 로드, 또는 분산 공유 메모리(DSM)로 대체합니다. 벤더 문서에서는 API를 설명하고, 최근의 마이크로벤치마킹 연구에서는 TMA의 처리량을 단독으로 평가하고 있지만, 이러한 접근 방식들은 실무 현장에서 실제로 직면하는 질문에 답하지 못합니다: 커널 내 특정 메모리 피연산자가 주어졌을 때, 이를 TMA로 처리해야 하는지, 그리고 만약 그렇다면 클러스터 멀티캐스트를 함께 사용할 것인지 여부를 결정하는 문제입니다. 우리는 H100을 대상으로 한 워크로드 기반 특성 분석 연구를 통해 이와 같은 간극을 해소하고자 합니다. 우리는 TMA와 다중
arXiv:2610.33366v1 발표 유형: 신규 초록: 대규모 언어 모델(LLMs)은 연구 아이디어 생성과 과학적 발견을 지원하는 데 점점 더 널리 활용되고 있습니다. 다중 에이전트 토론은 다양한 관점을 하나로 모아 연구 아이디어를 개발하는 협업 방식을 제공합니다. 그러나 주요 과제는 각 에이전트에게 서로 다르고 의미 있는 전문성을 부여하여 그들의 기여를 효과적으로 이끌어내는 방법입니다. 연구자들이 협업 과정에서 축적된 연구 경험을 활용하는 방식에서 영감을 받아, 우리는 관련 논문들의 그래프로부터 인사이트를 추출해 문헌 기반의 에이전트 전문성을 구축하는 프레임워크인 InsightAgents를 제안합니다. 한 연구 분야 내에서 진화하는 연구 접근법을 추적하고, 근본적인 가정을 드러내며, 아직 해결되지 않은 과제를 식별하는 인사이트에 따라,
arXiv:2610.33044v1 발표 유형: 신규 초록: 체화된 시각-언어 모델은 부분적이고 변화하는 관찰로부터 질문에 답해야 한다. 이들의 성공은 선택된 추론 능력과 해당 모델이 이용할 수 있는 증거 양 측면에 모두 의존한다. 전문 라우터는 내부 계산을 조정하는 반면, 도구를 보강한 시스템은 외부 증거를 확보한다; 두 가지 접근을 독립적으로 선택하면 적합한 전문가가 필요한 증거를 갖추지 못하는 상황이 발생할 수 있다. 우리는 EKT-Router를 제안하며, 이는 능력 전문가, 선택적 지식, 그리고 지각 도구를 공동으로 선택하는 제한된 프레임워크이다. 결과 기반 서명은 일반 전문가, 공간 추론 전문가, 그리고 시공간 추론 전문가의 중복된 강점을 나타낸다. 합동 효용 함수는 호출 예산 하에서 완전한 전문가-증거 경로를 평가한다. 수집 후, 패킷 검증기는 유효한 것을 인정한다.
arXiv:2610.32429v1 발표 유형: 신규 초록: 대규모 언어 모델(LLM) 에이전트는 점점 더 비동기적으로 작업을 수행합니다. 주 에이전트는 하위 에이전트들이 실행되는 동안에도 계속 작업을 진행하며, 그 결과가 도착하기 전에 작업 상태가 변경될 수 있습니다. 이때 주 에이전트는 어떤 작업을 업데이트하거나 보존하고, 어떤 검사를 다시 수행할지 결정해야 하며, 동시에 금지된 변경 사항을 피해야 합니다. 최종 작업 성공 여부만으로는 이러한 결과가 올바르게 처리되었는지 여부를 확인하기 어렵고, 자연스러운 비동기적 도착 현상은 재현하기도 어렵습니다. 우리는 LLM 에이전트의 비동기적 작업 실행을 평가하는 벤치마크인 Async-RBench를 제안하며, 8가지 시나리오를 포괄하는 200개의 실행 가능한 작업을 제공합니다. 각 시나리오 컨트롤러는 미리 정의된 작업 상태 조건을 활용해 결과 전달을 관리하고, 이벤트 응답 계약(ERC)은 각 응답이 무엇을 의미하는지를 명시합니다.
arXiv:2610.33012v1 발표 유형: 신규 초록: 도구 사용 기능을 갖춘 대규모 언어 모델(LLM) 에이전트는 동일한 초기 상태에서 독립적인 실행 간에 일관되지 않은 행동을 보이며, 서로 다른 도구를 호출하거나 상충되는 출력을 생성하거나 서로 다른 전략을 추구합니다. 이러한 변동성은 시간이 지나면서 누적되어 배포의 신뢰성을 저해합니다. 기존 평가 지표들은 주로 완료 기반 점수를 통해 작업 정확도를 측정할 뿐, 여러 실행에 걸친 에이전트 행동의 일관성을 포착하지 못합니다. 또한, 에이전트의 행동은 확률 분포를 이용한 토큰 수준 또는 의미 클러스터링을 활용한 단일 응답 수준에서 각각 분석되지만, 어느 방법도 궤적의 향후 단계들로 일관성 부족이 어떻게 전파되는지를 파악하지 못합니다. 우리는 재귀적 의미 발산(RSD)이라는 비정식
arXiv:2610.33237v1 발표 유형: 신규 초록: 언어 모델은 충분한 근거가 있는지 어떻게 판단할 수 있을까요? 언어 모델들은 제공된 근거가 불충분하더라도 대답하는 경향이 있습니다. 답변을 할지 추가로 근거를 수집할지를 결정하려면, 주어진 근거로 답변이 올바를 가능성을 정확히 추정해야 합니다. 그러나 대부분의 보정 연구에서는 입력을 고정된 것으로 간주하고, 이러한 추정치가 근거 변화에 따라 어떻게 조정되어야 하는지는 다루지 않습니다. 우리는 \emph{증거 상태 보정}을 제안하며, 이는 답변 전 모델의 신뢰도가 올바른 답변을 내릴 확률과 일치하도록 하고, 근거가 그 확률을 변경할 때마다 이에 맞춰 조정되도록 요구합니다. 우리는 \ours{}(\textbf{Suffi}ciency \textbf{C}onfidence \textbf{E}stimation)을 제안하며, 이를 통해 미세조정을 수행합니다.
arXiv:2610.33440v1 발표 유형: 신규 초록: 기존 질문-답변 데이터베이스에서 의료 언어 모델을 적응시키는 과정에서, 간결한 학습 서브셋을 선별하는 것은 중요한 단계입니다. 우리는 최종 블록 표현에 대한 가우시안 섭동으로부터 도출된 두 가지 신호, 즉 예측 변화 빈도와 비전환 마진 수축을 활용한 섭동 기반 데이터 선택 방식을 연구합니다. 공유 엔트로피 사전 필터를 거친 후, 표현 감도 우선순위화(RSP)는 자동 제곱평균 스케일링을 통해 이들 신호를 결합하며, RSP-드롭은 수축 값만을 기준으로 후보를 순위 매깁니다. 두 선택기 모두 선택 과정에서 질문과 답변 옵션만을 사용합니다. 우리는 MedGemma-4B를 이용해 64개, 128개, 256개의 예제를 유지하는 설정 하에서 다섯 개의 의료 QA 데이터셋을 대상으로 이들을 평가합니다. 주요 예산인 128개의 경우,
arXiv:2610.32322v1 발표 유형: 신규 초록: LLM 에이전트는 약 10만 개의 항목을 보유하고 다수의 모델에 서비스를 제공하는 공공 허브에서 기술을 검색합니다. 모델이 발전함에 따라, 특정 모델이 내부적으로 학습하여 해당 기술을 필요로 하지 않게 되었음을 확인하고 그 모델에 대해 해당 기술을 폐기해야 하지만, 현재까지는 이러한 내부화 정도가 알려진 신뢰성으로 측정된 바 없습니다. 기존에 발표된 규칙들은 기술을 포함한 실행과 제외된 실행 간의 성능 차이만을 기준으로 기술 폐기를 판단합니다. 그러나 내부화된 기술의 경우에도, 그리고 모델과 기술 모두 해당 능력을 제공하지 못하는 상태(우리가 ‘미해결 상태’라고 부르는 경우)에서도 성능 향상은 거의 제로에 가깝습니다. 따라서 우리는 대신 해당 기술을 보류하고, 그 기술을 기반으로 새롭게 구성된 과제에서 모델의 성능을 평가하며, 다른 모델이 해당 기술로부터 이익을 얻는 경우에만 높은 비지원 점수를 신뢰합니다. 이는 높은 점수의 거의 절반이 아무런 기술도 없는 과제에서 나온다는 사실에 근거합니다.
arXiv:2610.32308v1 발표 유형: 신규 초록: 다단계 역합성은 목표 분자를 연속적인 반응 단계를 거쳐 구매 가능한 빌딩 블록으로 재귀적으로 변환하는 과정을 요구하며, 최근 연구에서는 이 과제를 해결하기 위해 대규모 언어 모델(LLM)의 추론 기법을 활용하기 시작했습니다. LLM 추론 기법은 최근 발전 과정에서 장기적 지평 영역으로 진입했으며, 모델들은 상호 의존적인 여러 단계에 걸쳐 목표를 달성하고 환경과 상호작용하며 피드백에 적응합니다. 이러한 변화는 AI 기반 수학 연구에서의 획기적인 성과들로도 잘 드러나며, LLM의 능력을 크게 향상시켰습니다. 이러한 최첨단 분야에서 우리는 8B 규모의 LLM인 Solvent를 소개합니다. Solvent는 다단계 역합성 문제에 대한 장기적 추론을 성공적으로 확장한 모델입니다. 두 차례에 걸친 사후 학습 커리큘럼을 통해 Solvent는 반복적인 작업을 병렬로 수행하는 방법을 학습합니다.
arXiv:2610.32305v1 발표 유형: 신규 초록: 다단계 분석 작업에서는 LLM 에이전트가 다음 단계를 계속할지, 경로를 변경할지, 또는 중단할지를 결정하기 위해 중간 증거를 활용해야 합니다. 에이전트가 자신의 출력을 비판하는 자기반성은 널리 연구되어 왔지만, 이러한 비판만으로는 증거가 다음 행동에 영향을 미쳤는지 여부를 확인할 수 없습니다. 우리는 이러한 능력을 ‘자기억제’라고 부릅니다. 기존의 에이전트 벤치마크는 대부분 과제 완료 여부나 출력 품질을 측정할 뿐, 이 능력은 검증되지 않은 상태입니다. DMAIC-Bench는 린 식스 시그마의 명시적인 통계적 전제 조건을 기반으로 하여, 4개 산업 분야의 15개 산업 사례에 걸쳐 97개의 초기 설정된 과제를 통해 이를 평가합니다. 쌍으로 구성된 역설적 변형 과제들은 동일한 워크플로우 위치에서 서로 반대되는 행동을 요구함으로써, 정당화된 억제와 무분별한 중단을 구분합니다. 우리는 실행 추적 정보를 통해
