AI 뉴스 검색

노출은 약속이 아니다: 도구 사용 에이전트를 위한 잠재적 모니터의 이중 계층 평가

arXiv:2610.37679v1 발표 유형: 신규 요약: 도구를 사용하는 언어 에이전트는 간접적인 프롬프트 주입에 취약하며, 점점 늘어나는 연구들은 모델 내부를 분석하여 안전하지 않은 행동이 실행되기 전에 이를 포착하려고 시도하고 있지만, 그 결과는 매우 상반됩니다. 우리는 이러한 갈등의 대부분이 평가 과정에서 발생하는 오류 때문이라고 주장하며, 평가와 학습 집단 모두에서 주입 노출과 행동적 약속을 분리하는 이중 계층화 프로토콜을 제안합니다. 주요 Qwen AgentDojo 그리드에서, 무지한 상태로 불안전한 행동과 나머지 행동을 혼합한 대조를 기반으로 학습된 모니터들은 대부분 노출을 인식하는 방식으로 학습됩니다. 즉, 에이전트가 실제로 행동을 따르든 아니든 노출된 경로를 표시하며, 어떤 경우에 안전하지 않은 행동으로 이어지는지 거의 예측하지 못합니다. 노출된 사례들만을 대상으로 재학습한 동일한 탐지 계열은 모델 자체가 수행하는 안전하지 않은 도구 호출을 최대 2초 전까지 예측할 수 있습니다.

해설을 읽지 않고도 점수를 매기는 방법: 자동 해석 가능성 평가 데이터의 구조적 단축법

arXiv:2610.37676v1 발표 유형: 신규 요약: 자동 해석 가능성은 스파스-오토인코더(SAE) 특성에 대한 설명을 평가하기 위해, 모델에게 평가 예시들에서 해당 특성이 활성화되는 위치를 토큰별로 예측하도록 하거나, 표시된 토큰들이 그 특성에 부합하는지를 판단하도록 요청합니다. 우리는 평가 데이터의 표준 파이프라인이 생성한 결과를 설명을 읽지 않고도 점수 매길 수 있음을 발견했습니다. Neuronpedia에 저장된 GPT-2 소형 특성 500개에 대한 무작위 퍼징 실행 결과에 따르면, 활성화된 예시 중 91.3%가 중심 토큰에 최대값이 위치하도록 잘려 있으며, 중심 토큰이 표시되어 있을 때 “예”라고 판단하는 규칙은 저장된 LLM 점수 매기기 도구들(파이프라인 코드로부터 재구성된 표시 기반 판정 결과를 바탕으로 재산출)의 정확도 0.838에 비해 0.979의 균형 잡힌 정확도를 달성합니다. 또한 표시 개수만을 기준으로 판단하는 규칙은 0.969의 정확도를 보입니다. T

에이전트 간 인수 이행에 대한 벤치마킹 과제

arXiv:2610.36523v1 발표 유형: 신규 초록: 에이전트들이 더 긴 작업을 협업하는 과정에서, 작업이 완료되기 전에 책임이 모델 간에 이양될 수 있습니다. 수신 모델은 남아 있는 요구사항을 해결하면서, 이전의 결정, 관찰 및 행동을 바탕으로 작업을 이어가야 합니다. 이러한 전환 과정을 평가하려면, 인수 이전에 보존된 정보와 수신 모델이 어떻게 작업을 계속해 나가는지 사이의 관계를 연결해야 하며, 이는 단순히 작업 성공률과 기억 유지 점수만으로는 포착할 수 없습니다. 우리는 인수 이행 상태 연속성 벤치마크(HSC-Bench)를 도입하며, 이는 작업 인수의 두 가지 상호보완적인 측면을 평가하는 1,039개의 과제로 구성되어 있습니다: 관련 저장소 증거를 복구하고, 이미 설정된 대화, 도구 및 파일 작업 상태에서 계속 진행하는 능력입니다. 여섯 개의 수신 모델 간 비교 결과에 따르면, 구조적…

KORA: AI 워크로드를 위한 결정론 우선 실행 제어

arXiv:2610.35869v1 발표 유형: 신규 초록: AI 애플리케이션은 종종 추론이 필요한지 여부를 판단하기 전에 모델을 호출합니다. 이러한 기본 설정은 모호한 생성 작업에는 유용하지만, 구조화되고 결정론적이며 정책 기반, 조회 지향적이거나 직접 검증 가능한 작업에는 적합하지 않습니다. KORA는 결정론 우선 실행 제어를 도입합니다: 요청을 작업 경로로 표현하고, 먼저 결정론적 또는 구조화된 경로를 시도하며, 경로 결과를 검증하고, 텔레메트리를 기록한 뒤, 결정론적 처리로 해결되지 않을 경우에만 모델 후보 경로로 에스컬레이션하는 사전 추론 제어 계층입니다. 본 논문에서는 KORA를 결정론 우선 실행 제어 아키텍처로 소개하고, 재현 가능한 벤치마크 및 검증 워크로드에서 얻은 제한된 증거를 보고합니다. 재

Mirendil, 1,000만 토큰 규모의 첫 번째 모델인 Fern 0.1을 출시했습니다

Mirendil은 1,000만 토큰의 컨텍스트 창을 갖춘 처음으로 개발한 모델인 Fern 0.1을 출시했습니다. 이 모델은 에이전트형 AI 연구개발 작업을 목표로 하며, 1,000만 토큰 기준 RULER 단일 바늘 테스트에서 100% 점수를 기록했지만, 에이전트형 코딩에서는 최첨단 모델들에 비해 뒤처집니다. 해당 게시물 “Mirendil, 1,000만 토큰 컨텍스트를 갖춘 첫 번째 모델 Fern 0.1 출시”는 MarkTechPost에 처음 게재되었습니다.

바이두, 수백 페이지 문서 파싱을 위한 무제한 OCR 2 오픈소스 출시

바이두는 MIT 라이선스를 적용한 3B 규모의 OCR 모델인 ‘Unlimited OCR 2’를 출시했으며, 이 모델은 한 번의 요청으로 수백 페이지에 달하는 문서를 처리할 수 있습니다. 해당 모델의 SR-SWA 주의 메커니즘은 단계별 디코딩 비용을 거의 일정하게 유지하며, MarathonDocBench에서 77.1점의 성능을 기록했습니다. 본 글은 ‘바이두, 수백 페이지 문서 파싱을 위한 Unlimited OCR 2 오픈소스화’라는 제목으로 MarkTechPost에 처음 게재되었습니다.

AdaptTok-Indic: 인도계 언어를 위한 스크립트 인식형 적응형 토큰화

arXiv:2610.33017v1 발표 유형: 신규 요약: 영어 중심의 말뭉치로 학습된 다국어 토큰라이저는 종종 인도계 언어를 과도하게 세분화하여, 결과적으로 더 긴 토큰 시퀀스와 각 스크립트 간의 토큰화 격차를 초래합니다. 우리는 AdaptTok-Indic을 제안합니다. 이는 유니코드 정규화 전처리와 명시적인 인도계 결합 처리, 스크립트 인식형 라우팅, 그리고 소규모 트랜스포머 언어 모델과 함께 공동 학습된 학습 기반 바이트 수준 경계 예측을 결합한, 인도계에 특화된 적응형 토큰라이저 확장입니다. 벵골어와 힌디어를 대상으로 평가했으며, 구자라트어, 타밀어, 텔루구어에 대해서도 추가 평가를 수행한 결과, AdaptTok-Indic은 인도계 지향 토큰라이저 베이스라인인 SentencePiece BPE 및 독립적으로 구현된 MAGNET 방식 베이스라인보다 낮은 토큰 비율을 달성했습니다. 다섯 가지 기록된

소셜 월드 모델 평가 격차

arXiv:2610.33014v1 발표 유형: 신규 초록: 협상 어시스턴트는 상대방의 반응을 정확히 예측하지 않더라도 좋은 거래를 성사시킬 수 있다. 우리는 사회적 세계 모델에 대한 평가들이 이러한 예측을 직접적으로 검증하는지 여부를 묻는다. 1999년부터 2026년까지 발표된 113편의 연구를 검토한 결과, 9편의 주요 평가는 시스템이나 실험자가 선택한 행동에 대한 실제 사람의 반응을 측정한다. 이 중 단 2편만이 명시적인 반응 예측과 실제 반응을 비교하고 있다. 해당 연구들의 예측 모델은 행동이 선택될 때 이용 가능한 정보를 사용하며, 평가 대상 반응은 모델 학습 과정에서 제외되었다; 또한 두 연구 모두 개입 조건을 무작위화하였다. 언어 모델 관련 25편의 논문에 대한 별도의 전문 텍스트 검토에서는 이러한 조건을 충족하는 실험이 발견되지 않았다. 나머지 평가들은 현재 상태 추론, 과제 성공 또는 예측 f

오디오-언어 모델에서의 제어 가능한 화법 캡션 작성에 대한 벤치마크

arXiv:2610.33036v1 발표 유형: 신규 초록: 화법 캡션 작성(SSC)은 목소리의 음색, 억양, 표현력 등과 같은 언어 외적 특성을 포착하여, 말이 전달되는 방식에 대한 자연스러운 언어 설명을 생성하는 것을 목표로 합니다. 대화형 AI 에이전트, 제어 가능한 음성 생성, 대규모 오디오 주석 작업 등 많은 하위 애플리케이션에서는 단일한 통합되지 않은 설명이 아니라, 발화자의 특성, 감정, 전달 스타일 등 특정한 측면을 구체적으로 묘사하는 차원별 스타일 캡션을 필요로 합니다. 그러나 기존 연구들은 제어 가능한 화법 캡션 작성에 대한 통일된 정식화가 부족한 실정입니다. 우리는 이 격차를 해소하기 위해 SSC를 명시적인 지침이 화법의 특정 차원을 규정하는 지침 준수형 오디오-언어 과제로 정식화합니다.

버스티 워크로드 하에서 서버리스 자동 스케일링 전략의 비교 평가를 위한 통합 큐잉 기반 프레임워크

arXiv:2610.35564v1 발표 유형: 신규 초록: 서버리스 컴퓨팅 플랫폼은 매우 버스티하고 예측 불가능한 워크로드에 적응하면서도 서비스 품질(QoS)을 유지해야 합니다. QoS 요구사항과 서비스 수준 계약(SLA)을 충족시키면서 워크로드 변동에 대응하기 위해, 이러한 플랫폼들은 자동 리소스 스케일링에 의존합니다. 상용 기능형-서비스(FaaS) 플랫폼들은 활성 함수 인스턴스 수와 가용 처리 용량을 동적으로 조정하기 위해 서로 다른 자동 스케일링 전략을 채택합니다. 본 연구에서는 대표적인 세 가지 자동 스케일링 전략인 요청당 스케일링(SPR), 동시성 레벨 스케일링(CLS), 그리고 메트릭 기반 스케일링(MBS)을 모델링하고 비교합니다. 독점적인 플랫폼별 구현에 의존하지 않는 체계적인 평가를 가능하게 하기 위해, 우리는 de

데이터 문화가 제로 트러스트에서 배포 가능한 AI 분석 에이전트에 이르기까지의 여정을 어떻게 측정했는가

Data Culture는 AI 분석 도입 초기의 정확도를 0%에서 94.7%로 끌어올린 3단계 평가 프레임워크를 구축했습니다.

Nace AI, AI 에이전트 검색을 위한 Drex 출시: BrowseComp-Plus에서 92.05%, 검색 호출 수는 12.6회

Nace AI는 Drex for Search를 출시하며, 자사의 Drex 의사결정 모델을 AI 에이전트의 문서 검색에 적용했습니다. Nace는 BrowseComp-Plus에서 12.6회의 검색 호출로 92.05%의 성과를 기록했으며, OfficeQA Pro에서는 에이전트의 전환 횟수가 더 적었습니다. 이 글은 MarkTechPost에 처음 게재되었습니다.

OpenHome: 스마트홈 카메라 영상에서 인식부터 통찰까지

arXiv:2610.31986v1 발표 유형: 신규 초록: 비전 언어 모델(VLM)은 녹화된 영상을 해석하고 유의미한 통찰을 제공하기 위해 소비자용 스마트홈 카메라 시스템에 점점 더 널리 도입되고 있습니다. 그러나 스마트홈 카메라가 캡처하는 영상 클립은 기존 VLM 벤치마크를 지배하는 큐레이션된 웹 영상과는 다릅니다. 스마트홈 영상 클립은 자막이나 내레이션이 없고, 다양한 시야각에서, 여러 조명 조건 하에, 그리고 다양한 상황에서 촬영되는 경우가 많습니다. 그럼에도 불구하고, 이 분야에서 희박한 시각적 신호와 제한된 맥락 속에서 모델이 발휘하는 성능은 기존 VLM 벤치마크로는 충분히 평가되지 못했습니다. 이러한 격차를 해소하기 위해, 우리는 스마트홈 영상 이해력을 평가하기 위한 시각 전용 4지선다형 벤치마크인 OpenHome을 소개합니다. I

EDWARD-NMT: 신경망 기반 기계 번역을 위한 적응형 라우팅과 이중 일관성을 갖춘 탄력적 차원

arXiv:2610.32115v1 발표 유형: 신규 요약: 희소 혼합 전문가 모델(MoE)은 신경망 기계 번역(NMT)의 확장성과 언어 이질성을 관리하는 데 있어 강력한 패러다임입니다. 그러나 자원 제약이 있는 디바이스에서의 적용에는 실질적인 한계가 존재합니다: 전체 전문가 풀이 메모리에 상주해야 하며, 토큰당 연산 예산은 학습 과정 중에 경직된 최상위 k 라우팅 방식으로 고정됩니다. 우리는 EDWARD-NMT(신경망 기계 번역을 위한 적응형 라우팅과 이중 일관성을 갖춘 탄력적 차원)를 제안합니다. 이는 한 번 학습하고 어디서나 배포할 수 있는 패러다임을 지향하는 새로운 MoE 인코더-디코더 아키텍처로, 추론 시 다양한 배포 가능한 하위 네트워크들을 제공합니다. EDWARD-NMT는 세 가지 주요 혁신을 통합합니다: (i) 마트료시카 스타일의 탄력적 차원을 통해 메모리 사용량을 유연하게 줄이고; (ii) a

새로운 연구에 따르면 LLM 수학 과외 평가에는 심각한 측정 편향이 존재하며, 정확히 일치하는 점수는 성과를 거의 40%포인트나 과소평가한다.

arXiv에 2026년 10월 26일 게재된 논문 “MisconceptDialogue: Evaluation Criteria Shape Measured Success in LLM Math Tutoring”은 MISCONCEPTDIALOGUE 자동화 평가 프레임워크를 제안하며, 5,000회 이상의 대화 테스트를 바탕으로 수학 과외 모델로서 5종의 오픈소스 소규모 파라미터 LLM(7B–14B)의 성능을 평가했습니다. 연구 결과, 주류인 정확히 일치하는 점수 매기기 방식에서는 구제 성공률이 42.1%에 불과한 반면, 인공적으로 보정된 LLM 심사자의 평가는 동일한 대화에서 81.3%로 나타나, 그 차이는 39.2%p에 달했습니다. 또한 이러한 편차는 우연한 것이 아니며, 네 가지 유형의 LLM 심사자와 200개의 인공 라벨링 결과 간에는 높은 일치도(kappa 최대 0.91)가 확인되었습니다. 아울러 모델은 진단 정보(정확한/잘못된 개념)에 대한 응답에서 거의 차이를 보이지 않아, 진단 입력을 효과적으로 활용하기 어렵다는 점을 시사합니다.

추천 이유：이 연구는 현재 LLM 교육 적용 평가 방법론의 핵심적 결함을 정면으로 지적한다: 단일하고 경직된 자동 채점에 의존하면 실제 능력 판단이 심각하게 왜곡될 수 있다는 점이다. 또한 대규모 시뮬레이션 실험 설계, 다수 평가자 간 수렴 검증, 그리고 진단-교육 연계의 실패에 대한 실증 분석을 통해, AI 기반 교육 평가의 표준화를 위한 중요한 경고와 재현 가능한 방법론적 기준을 제시하였다.

Recursive, AI 주도로 개발된 로컬에서 실행 가능한 경량 프로그래밍 모델인 Flint을 출시했습니다.

AI 스타트업 Recursive는 오픈소스 코딩 모델 Flint를 출시했으며, 개발 과정의 대부분이 자체 개발한 AI 연구 시스템 Eureka Machine에 의해 이루어졌다고 밝혔다. 이 모델은 파라미터 수가 400억 개에 불과하며, 실제 테스트에서 활성화 수는 25억 개로 확인되었고, M4 Pro MacBook과 같은 일반 노트북에서도 오프라인으로 실행 가능하다. 추론 속도는 초당 131 토큰에 달하며, SWE-Bench 등 벤치마크 테스트에서 동급 규모의 대부분 모델보다 우수한 성능을 보였다.

NVIDIA, Kumo Relational 발표: 학습 없이도 지도학습을 능가하는 최초의 구조화된 데이터 기반 모델

NVIDIA는 사전 훈련된 관계형 기반 모델인 Kumo Relational을 출시했으며, 이 모델은 기업용 관계형 데이터베이스에서 이탈 예측, 사기 탐지, 수요 예측 등 다양한 예측 작업을 직접 수행할 수 있습니다. 작업 미세조정, 특성 엔지니어링 또는 테이블 평탄화가 필요하지 않습니다. 15개 데이터베이스에 걸친 41개의 벤치마크에서 XGBoost 등 감독 학습 모델을 전면적으로 능가했으며, SAP SALT 기업 벤치마크에서는 MRR 지표에서 AutoGluon보다 8% 앞섰습니다. 또한 5,000억 행 규모의 데이터베이스를 지원하며, Predictive Query Language(PQL)를 통해 코드 없이 예측 호출을 구현할 수 있습니다.

AI의 다음 단계에 대한 건물 기준

OpenAI는 글로벌 AI 표준을 공유하는 경로를 설명합니다. 조정 평가, 보고, 관리 및 안전 향상을 위해 호출합니다.