AI 뉴스 검색

DMAIC-벤치: 다단계 분석 작업에서 에이전트의 자기성찰부터 자기절제까지

arXiv:2610.32305v1 발표 유형: 신규 초록: 다단계 분석 작업에서는 LLM 에이전트가 계속 진행할지, 경로를 변경할지, 또는 중단할지를 결정하기 위해 중간 단계의 근거를 활용해야 합니다. 에이전트가 자신의 출력을 비판하는 자기반성은 널리 연구되어 왔지만, 이러한 비판만으로는 근거가 다음 행동에 영향을 미쳤는지 여부를 확인할 수 없습니다. 우리는 이러한 능력을 ‘자기제약’이라고 부릅니다. 기존의 에이전트 벤치마크는 대부분 과제 완수 여부나 출력 품질만을 측정하며, 이 능력에 대한 검증은 이루어지지 않았습니다. DMAIC-Bench는 린 식스 시그마의 명시적인 통계적 전제 조건을 바탕으로, 4개 산업 분야에서 15개의 산업 사례에 걸쳐 97개의 초기 설정된 과제를 통해 이를 평가합니다. 쌍으로 구성된 역설적 변형 과제들은 동일한 워크플로우 위치에서 서로 반대되는 행동을 요구함으로써, 정당화된 제약과 무분별한 중단을 구분합니다. 우리는 실행 추적 정보를 통해

행동에 대한 처벌을 언제 중단해야 할까요? VLA 강화학습을 위한 마팅게일 GRPO

arXiv:2610.32431v1 발표 유형: 신규 초록: 비전-언어-행동(VLA) 롤아웃이 실패했다고 해서 모든 행동이 실패에 기여했다는 의미는 아니다. 그러나 그룹 상대 정책 최적화(GRPO)에서는 롤아웃 내 모든 행동에 대해 단일 궤적 수준의 이득이 할당된다. 이로 인해 잠재적으로 유용한 복구 시도가, 그것이 바로잡으려는 오류와 함께 처벌받을 수 있다. 실패 피드백을 위한 이상적인 중단 조건은 성공 확률 및 정책 점수 마팅게일을 활용하여 규명된다. 이러한 중단 시점에서는, 제거된 그라디언트 기여의 조건부 기대값이 유지된 정보를 조건으로 하여 영이 된다. 따라서 절단은 기준 GRPO 그룹 그라디언트 추정량의 기대값을 보존하고 그 공분산을 줄일 수 있다. 이러한 중단 중 하나는 성공의 조건부 확률이

열일곱 살 학생은 어떤 답을 썼을까? 여섯 개의 최첨단 언어 모델에서 나타나는 저자 연령 오인, 과대 평가된 신뢰도, 그리고 비교정적 자기 설명에 관한 행동 사례 연구

arXiv:2610.31946v1 발표 유형: 신규 초록: 세 명의 학생이 같은 시험 문제를 손으로 작성했다: “행복이란 무엇인가? 당신은 행복한가?” 수집 당시 기록된 이들의 나이는 17세, 28세, 45세이다. 열일곱 살 학생의 답은 조심스럽고 형식적으로 표현되어 있다. 각 답안을 나이와 성별 라벨에 맞추도록 요청했을 때, 대부분의 최첨단 언어 모델은 이를 성인에게 확신을 가지고 배정한다. 본 논문은 Claude Fable 5, Gemini 3.1 Pro, GPT-5.6 Sol, Grok 4.5, GPT-4o (2024), 그리고 DeepSeek V4 등 여섯 개 모델에서 발생한 이러한 실패를 구조화된 사례 연구로 보고한다. 우리는 프레임 설정, 공개 형식, 그리고 청중 인식 지침을 조작하는 여섯 가지 실험 조건 하에 1,081회의 API 세션을 진행하고, 총 3,225개의 응답을 점수화하였다. 여섯 개 모델 중 세 개는 매칭 과제에서 우연 수준(1/3)에 근접하거나 그에 가까운 성과를 보이는 반면, 73~88%의 정확도를 보고한다.

InferSlice: 통신사 광역 네트워크에서 SLO 기반 LLM 추론을 위한 참조 아키텍처

arXiv:2610.32638v1 발표 유형: 신규 초록: LLM 추론은 기업 및 대화형 애플리케이션의 핵심 서비스로 점점 더 많이 도입되고 있지만, 주권, 규정 준수, 지연 시간 및 자원의 지역적 근접성 요구 사항으로 인해 중앙 집중식 클라우드 배포의 적합성이 제한될 수 있습니다. 통신사는 이러한 제약을 해결하기 위해 지리적으로 분산된 컴퓨팅 및 네트워크 인프라를 제공합니다. 그러나 기존의 LLM 서비스 프레임워크는 밀접하게 연동된 데이터 센터를 위해 설계되어 있어, 지리적으로 분산되고 이질적인 자원을 조율하는 데 대한 지원이 제한적입니다. 우리는 통신사 인프라 위에서 서비스 수준 목표(SLO) 기반 LLM 추론을 위한 참조 아키텍처인 InferSlice를 제시하며, 여기에는 네트워크 슬라이싱, GPU 파티셔닝, 탄력적 서비스 및 관찰성이 통합되어 있습니다.

오픈 ISA 슈퍼컴퓨팅을 향하여: HPC 워크로드에 대한 RISC-V, Arm, x86 아키텍처 비교 연구

arXiv:2610.32632v1 발표 유형: 신규 초록: RISC-V는 고성능 컴퓨팅(HPC)의 후보 아키텍처로 부상하고 있지만, 기존의 x86 및 Arm 프로세서와의 경쟁력은 아직 평가하기 어렵습니다. 이는 기존 연구들이 서로 다른 플랫폼, 워크로드, 방법론을 사용하고 있으며, 에너지 효율성을 거의 고려하지 않기 때문입니다. 본 연구에서는 공통된 소프트웨어 스택과 방법론을 활용하여 최신 HPC용 RISC-V, Arm, x86 프로세서를 평가합니다. 우리는 Sophgo SG2044를 특성화하고, NVIDIA Grace CPU 슈퍼칩 및 Intel Xeon Platinum 8480+와 함께 STREAM, HPL, HPL-MxP, HPCG 등 네 가지 HPC 벤치마크와 iPIC3D, PLUTO, OpenFOAM, llama.cpp 등 네 가지 대표 애플리케이션에서 비교 분석을 수행했습니다. 본 연구에서 사용된 OpenBLAS 기반 HPL-MxP 버전은

계층적 알고리즘을 통한 버스티(Bursty) HPC 워크로드의 공정한 스케줄링을 위한 대기열 제한

arXiv:2610.32027v1 발표 유형: 신규 초록: HPC 클러스터는 여러 프로젝트 간에 공유되며, 각 프로젝트에는 노드-시간 할당량이 부여됩니다. 이러한 환경에서 공정성을 보장하는 것은 점점 더 어려워지고 있습니다. 파운데이션 모델 기반 워크플로와 자동화된 파이프라인의 등장으로 작업 제출 패턴이 급격히 변해 일부 대용량 사용자에게 집중되고 있으며, 이로 인해 가끔 사용자들은 빈번한 사용자들로 인해 발생하는 대기 지연을 감수해야 하지만, 자신의 작업이 얼마나 오래 대기할지에 대한 명확한 정보조차 얻기 어렵습니다. 기존 스케줄러들은 과거 사용량을 고려하지 않거나, 대기열 맨 앞에 있는 작업만을 우선적으로 처리하거나, 실행 중인 작업은 언제든지 선점될 수 있다고 가정합니다. 이에 우리는 모든 사용자 간의 공정성을 보장하면서도 각 작업의 대기 시간을 제한하는 하이브리드 마감일 및 순위 인식 스케줄러인 HyDRA를 제안합니다. HyDRA는 작업이 도착할 때마다 그 크기와 해당 프로젝트의 우선순위를 바탕으로 각 작업에 마감일을 부여합니다.

문맥 내 의존성 파싱을 위한 POS 서명 시연 검색

arXiv:2610.31966v1 발표 유형: 신규 요약: 문맥 내 학습을 위한 시연은 종종 의미적 유사성을 기준으로 검색되며, 이는 구조화된 예측에서의 관련성을 제대로 대표하지 못할 수 있습니다. 우리는 Universal Dependencies 파싱을 위한 시연 선택 방식을 연구하며, 품사 통계를 가중치로 표현하고 라벨링된 교육 세트에서 길이가 호환되는 골드 라벨 해석 사례 3개를 검색하는 POS 서명 정책을 적용합니다. 우리는 미세조정 없이 두 개의 오픈 웨이트 언어 모델을 UD 영어 웹 트리뱅크 테스트 세트의 총 2,077개 문장에 대해 평가하며, 해당 정책을 샷 및 형식이 일치하는 고정 및 의미적 3샷 기반과 비교하고, 또한 제로샷, 사고 체인, 비평-정제 시스템과도 비교합니다. POS 서명 검색은 가장 높은 라벨링 성과를 달성합니다.

트레이드오프를 고려한 영역 설계: 기업 고객-영업사원 배정을 위한 다목적 의사결정 시스템

arXiv:2610.31701v1 발표 유형: 신규 초록: 기업 고객의 구매 여정은 제품 경험과 마케팅뿐만 아니라 반복적인 자원 할당 결정에 의해 형성된다. B2B 시장 진출(GTM) 조직에서는 영역 설정이 어떤 계정에 영업사원의 영업 범위가 제공되는지, 어떤 영업사원-계정 관계가 유지되는지, 그리고 제한된 영업 인력의 역량이 어떻게 배분되는지를 결정한다. 그러나 이 과정은 종종 수동으로 이루어져, 기회 비교, 가치 지속성 평가, 성장, 균형, 역량 및 실행 가능성 간의 트레이드오프를 검토하기 어렵다. 우리는 기업 GTM 계획에서 트레이드오프를 고려한 고객-영업사원 배정을 위한 실용적인 의사결정 시스템을 제안한다. 이 시스템은 세 가지 구성 요소를 통합한다: 예측 신호를 결합하여 점수를 매기는 다차원 계정 가치 레이어와

영어와 만다린어의 우월적·경멸적 언어 감지

arXiv:2610.31808v1 발표 유형: 신규 초록: 우월적·경멸적 언어(PCL)는 취약 계층을 폄하하고 동정을 강요하는 유해한 언어의 한 형태로, 사회적 부정적 고정관념을 강화합니다. 그러나 노골적인 증오 표현과 달리, 심지어 인간 판사에게도 감지하기가 매우 어려운 경우가 많습니다. 본 논문에서는 PCL을 자동으로 감지하는 시스템을 제안합니다. 첫 번째 접근법은 정적 단어 임베딩과 합성곱 신경망을 사용하여 분류를 수행하며, 두 번째 접근법은 PCL 태스크에 맞게 미세조정된 사전 훈련된 BERT 임베딩을 활용합니다. 두 번째 접근법이 훨씬 더 성공적이었으며, 개발 세트에서 F1 점수 0.528을 기록했습니다.

arXiv의 새로운 논문은 증거 검증과 가중치 업데이트가 필요 없는 프롬프트 수정을 지원하는, 추적 가능한 다모달 감정 추론 에이전트 프레임워크를 제안합니다.

2026년 10월 26일, arXiv는 사전인쇄 논문(번호 2610.31685v1)을 발표하며, 동결된 대규모 모델 기반의 추적 가능한 다중모달 감정 추론 지능체 아키텍처를 제안했습니다. 이 아키텍처는 모달별 전용 인지 지능체, 통합 지능체, MLLM 비판자 및 증거 검증 단계를 통해 오류 귀속과 프롬프트 공간의 자율적 최적화를 구현하며, MER2025 데이터셋에서 여러 개방형 다중모달 대규모 모델(2B–38B 파라미터)의 감정 인식 F-스코어를 0.6~2.2점 향상시켰습니다.

추천 이유：이 연구는 현재 다중 모달 감정 추론 시스템에서 명령 미세조정 비용의 높음과 에이전트 파이프라인의 디버깅 불가능성 간의 모순을 해결하기 위해, 증거 인용, 확실성 검증, 실패 귀인 및 타깃형 프롬프트 수정을 통합한 최초의 전 과정 설명 가능한 프레임워크를 제안한다. 모든 개선 사항은 모델 가중치를 변경하지 않으며, 네 가지 서로 다른 규모의 오픈소스 MLLM에서 실증적으로 효과를 입증하여 방법론적 혁신성과 공학적 실용성을 갖추고 있다.

온라인 3D 박스 패킹을 위한 공간 휴리스틱 전략 기반 확산 강화 학습

arXiv:2610.32241v1 발표 유형: 신규 초록: 전통적인 휴리스틱 방법들은 공간 활용도와 레이아웃의 콤팩트성 등 3D 박스 패킹의 핵심 목표에 대해 인위적으로 설계된 규칙 기반 논리를 바탕으로 오랜 경험을 축적해 왔습니다. 그러나 이들 방법은 일반화 능력과 동적 시나리오에 대한 적응력에서 명백한 한계를 보입니다. 강화 학습의 공간 탐색 능력과 확산 학습의 데이터 분포 모델링 능력을 통합한 확산 강화 학습은 행동 분포 모델링 및 의사결정 준수 제약 조건 측면에서 일정한 성과를 거두었습니다. 그럼에도 불구하고 3D 박스 패킹에서의 공간 위상 구조에 대한 인식 부족과 레이아웃 최적화 능력의 제한 등의 문제는 여전히 남아 있습니다.

DriveMind: 폐쇄 루프 자율주행을 위한 마음의 진화형 신념 추적

arXiv:2610.32069v1 발표 유형: 신규 초록: 최근 다중 모달 대규모 언어 모델(MLLM)은 단일 모델 내에서 교통 상황을 인지하고 이를 바탕으로 추론하며 주행 행동을 제안할 수 있습니다. 그러나 기존의 MLLM 기반 주행 시스템은 매 프레임마다 처음부터 다시 추론을 수행하고 단 하나의 설명에만 의존하여, 이전의 상황에 대한 여러 가설을 버리게 됩니다. 상황이 모호할 경우, 에이전트는 잘못된 해석에 고정되어 증거가 축적되기 전에 그에 따라 행동하게 됩니다. 본 논문에서는 DriveMind를 제안합니다. 이는 MLLM 기반 주행 프레임워크로, 상황에 대한 여러 가지 가설을 동시에 유지하면서 새로운 프레임이 도착할 때마다 각 가설의 가중치를 업데이트합니다. 입자 필터링에서 영감을 받은 DriveMind는 각 가설을 VLM을 통해 전파하고, 현재 관찰과 비교하여 점수를 매긴 뒤 재표본화하여 m

LLM 평가에서 전체 F1 점수만을 사용해 자동 채점기를 검증하는 것은 오해를 유발할 위험이 있다: 새로운 연구는 구체적인 프롬프트 차이에 맞춰 검증해야 함을 강조한다

arXiv 논문(2610.31678v1)은 대화형 대규모 언어 모델 평가에서 자동 채점 도구의 전체 정확도나 F1 점수에만 의존하면 프롬프트 특이적 오류가 가려져 프롬프트 효과에 대한 잘못된 판단을 초래할 수 있다고 지적한다. 실증 분석에 따르면, 동일한 채점 도구가 서로 다른 프롬프트에서 보이는 위양성률은 2.6%에서 33.3%로 크게 차이 나며, 겉보기로 유의미한 9.3점의 효과도 두 개의 LLM 심사 하에서는 2.3점으로 축소되고 통계적으로 유의미하지 않게 된다.

추천 이유：이 연구는 실제 실험 데이터(6개의 모델, 180개의 가상 개체 질문, 6가지 프롬프트 조건)를 기반으로 하며, 현재 LLM 평가에서 널리 존재하는 방법론적 취약점을 밝혀냈습니다—즉, 스코어러의 전반적인 성능을 핵심 비교 과제에서의 신뢰성과 동일시하는 문제입니다. 핵심 주장(각 프롬프트를 별도로 검증하고 불확실성을 반영해야 한다는 점)은 명확한 실증적 근거와 실행 가능한 권고안을 바탕으로 하며, 발표 시점(2026년 10월 26일)과 출처의 신뢰성(arXiv 사전출판 플랫폼) 측면에서도 높은 시의성을 갖습니다.

마이크로서비스 시스템을 위한 대규모 언어 모델 기반 자동회귀형 다중모달 이상 탐지

arXiv:2610.31722v1 발표 유형: 신규 초록: 마이크로서비스 시스템은 대규모 클라우드 애플리케이션의 주류 아키텍처로 자리잡아 빠른 배포와 탄력적 확장을 가능하게 합니다. 그러나 마이크로서비스 시스템의 신뢰성과 가용성을 보장하는 데는 효과적인 이상 탐지가 매우 중요하며, 장애나 성능 이상이 서비스 간에 빠르게 전파되어 종단 간 시스템 동작에 심각한 영향을 미칠 수 있습니다. 기존의 마이크로서비스 시스템용 다중모달 이상 탐지 방법들은 두 가지 근본적인 한계로 인해 어려움을 겪습니다: (i) 모달별 특성을 무시하고 교차 모달 융합에 치중하는 점과, (ii) 특징 재구성 과정에 영향을 미치는 ‘정체성 단축’ 문제입니다. 이러한 문제를 해결하기 위해 우리는 자동회귀형

연구에 따르면 보상 모델 점수에는 유의미한 힌트 의존성이 존재하며, 쌍으로 이루어진 평가는 이러한 편향을 탐지할 수 없다는 사실이 밝혀졌다.

2026년 10월 24일 arXiv에 게재된 한 AI 연구 논문은, 현재 주류를 이루는 쌍방향(pairwise) 평가 방법이 동일한 프롬프트 하에서 모든 응답에 공통적으로 존재하는 점수 구성 요소를 자동으로 상쇄하여, 보상 모델에서 핵심적인 ‘프롬프트 수준의 편향’이 검증되지 않았다고 지적한다. 저자들은 인간 평가를 기준으로 삼아 이미 발표된 18개의 평가기를 대상으로 감사를 실시한 결과, HelpSteer2 데이터셋에서 6개 모델의 점수 분산 중 최대 34%~64%가 프롬프트 자체에 기인하며, 반면 인간 평가는 이러한 현상이 거의 나타나지 않는다는 사실을 발견했다.

추천 이유：이 연구는 대규모 언어 모델의 정렬 과정에서 오랫동안 간과되어 온 근본적인 결함을 지적한다—보상 모델의 점수가 응답의 품질 자체가 아니라 프롬프트 텍스트에 크게 의존한다는 점이다. 또한 해당 연구의 방법론(인간 기준 감사, 프롬프트 교체, 분산 분해)은 재현 가능하며, 그 결론은 실증적 분석에 기반하고 여러 주요 오픈소스 평가 도구를 포괄하므로, 선호도 최적화, RLHF 및 안전성 평가 실무에 대한 직접적인 시사점을 제공한다.

새로운 연구는 오픈북 평가가 주로 지식 저장보다는 읽기 행동을 측정한다는 점을 밝혀냈다.

2026년 10월 24일에 발표된 arXiv 논문(2610.31017v1)은 문서 수준의 LoRA 어댑터 평가에서 오픈북 스코어링이 어댑터가 해당 문서의 지식을 실제로 인코딩했는지 여부보다는 모델의 즉각적 읽기 능력에 크게 의존한다고 지적했다. 무작위 어댑터는 오픈북 과제에서 전문가용 어댑터의 우위를 82%까지 재현할 수 있었지만, 비소스 텍스트를 대상으로 한 클로즈 과제에서는 단 2%만 재현되었으며, 이는 통계적으로 영과 구별되지 않았다.

추천 이유：이 연구는 체계적인 제어 실험(위키백과 문서 150편, Llama-3.1-8B-Instruct 모델, 이중 작업 비교)을 통해 현재의 오픈북 평가 패러다임의 근본적 한계를 밝혀냈다. 즉, 이 패러다임은 ‘읽기’와 ‘암기’를 효과적으로 구분하지 못하며, 지식 편집 및 검색형 어댑터의 실제 효용성에 대한 방법론적 도전 과제를 제기한다. 또한 논문에서는 ‘깨끗하지만 잘못된 결과’를 초래하는 네 가지 침묵 오류를 보고하여 재현성 위험을 부각시켰다.

연구에서는 정치적 논쟁 담화에서 미명시된 논증(엔티메) 식별에 관한 주석상의 이견 문제를 해결하기 위해 새로운 평가 방법과 모델을 제안하였다.

이 논문은 백신 접종과 이민 문제에 관한 트윗 데이터를 기반으로 하며(각 트윗은 다섯 명의 주석자가 독립적으로 주석을 달음), 기존 미세조정 모델들이 엔티메메 검출 과제에서 F1 점수가 항상 약 0.67에 머무는 현상을 발견했다. 이에 따라 저자들은 단일 레이블 평가 패러다임을 포기하고, 대신 주석자의 의견 분포를 정확히 표현할 수 있는 새로운 지표를 도입하며, 해당 분포를 직접 예측할 수 있는 모델을 설계함으로써 F1 점수를 낮추지 않으면서도 인간 판단의 이견을 보다 잘 포착할 수 있다고 제안한다.

추천 이유：이 논문은 NLP 분야에서 오랫동안 간과되어 온 ‘주석자 간 이견이 본질적 특징이다’라는 현실을 정면으로 다룬다—특히 정치적으로 민감한 맥락에서는 엔티메의 식별이 주관적 추론에 크게 의존한다. 그 방법론적 전환(점예측에서 분포예측으로)과 담화 구조의 한계를 실증적으로 드러낸 점은 콘텐츠 검열 시스템 설계에 분명한 경고를 제공한다: 다수결 기반 학습 모델은 깊이 있는 맥락 추론이 필요한 은닉된 논증을 체계적으로 간과할 수 있다.

저자원 언어에서의 연구 진전 및 언어적 포용성 측정

arXiv:2610.30296v1 발표 유형: 신규 초록: 대규모 언어 모델(LLMs)은 저자원 및 다국어 NLP에 대한 연구를 가속화했지만, 이들이 공평한 연구 환경을 조성하는 데 얼마나 효과적인지는 아직 명확히 규명되지 않았습니다. 우리는 2020년부터 2025년까지 출판된 1,158편의 동료 심사 오픈 액세스 논문을 분석하여, 저자원 언어(LRLs)에 대한 연구 관심도와 언어 및 사용자 집단 전반에 걸친 표현 수준을 검토합니다. 출판 건수 외에도 언어적 포용성을 평가하기 위해, 우리는 언어적 포용성 프레임워크(LIF)를 도입합니다. 이는 연구 성장, 표현 확대, 표현 지속성, 그리고 분포적 형평성 등 네 가지 차원에서 언어적 포용성을 측정하는 다차원적 체계입니다. 연간 출판물 수는 52건에서 415건으로 5.4배 증가했으며, ACL Antholo