출처, 주제, 시간으로 전체 뉴스에서 관심 소식을 찾아보세요.
arXiv:2610.31986v1 발표 유형: 신규 초록: 비전 언어 모델(VLM)은 녹화된 영상을 해석하고 인사이트를 제공하기 위해 소비자용 스마트홈 카메라 시스템에서 점점 더 널리 채택되고 있습니다. 그러나 스마트홈 카메라가 캡처한 영상 클립은 기존 VLM 벤치마크를 주도하는 큐레이션된 웹 동영상과는 다릅니다. 스마트홈 영상 클립은 자막이나 내레이션이 없고, 다양한 시야각에서, 여러 조명 조건 하에, 그리고 다양한 상황에서 촬영되는 경우가 많습니다. 그럼에도 불구하고, 이 분야에서 희박한 시각적 신호와 제한된 맥락 하에서 모델의 성능은 기존 VLM 벤치마크로는 충분히 평가되지 않고 있습니다. 이러한 격차를 해소하기 위해, 우리는 스마트홈 영상 이해력을 평가하기 위한 시각 전용 4지선다형 벤치마크인 OpenHome을 도입합니다. I
arXiv:2610.32229v1 발표 유형: 신규 초록: 8비트 미만의 연산에서 대규모 언어 모델(LLM)을 학습하면 메모리 대역폭과 연산 처리량에서 상당한 향상을 기대할 수 있지만, FP4 형식은 양자화 오차가 너무 심해 이를 해결하지 않으면 최적화가 불안정해질 수 있습니다. 우리는 MXFP4 마이크로스케일링 형식 하에 MLPerf 소형 MoE 학습 벤치마크에서 200억 개의 파라미터를 가진 혼합-전문가(MoE) 모델인 GPT-OSS-20B를 위한 오픈소스 학습 레시피 ALTO를 제시합니다. 이 레시피는 Abecassis, Felix 등 [arXiv:2509.25149]에서 제안된 기존 기법들(하이브리드 1D/2D 블록 양자화, 무작위 하다마르 변환, 확률적 반올림)과 TetraJet-v2 [arXiv:2510.27527]에서 차용한 간소화된 가중치 탈진동 방식을 결합한 것입니다. 글로벌 배치 크기 기준 C4 검증 결과
arXiv:2610.32115v1 발표 유형: 신규 초록: 희소 혼합 전문가 모델(MoE)은 신경기계번역(NMT)의 확장과 언어 이질성 관리에 있어 강력한 패러다임입니다. 그러나 실제적인 한계로 인해 자원 제약이 큰 디바이스에서는 이를 적용하기 어려운 상황입니다. 전체 전문가 풀을 메모리에 상주시켜야 하며, 토큰당 연산 예산도 학습 과정에서 경직된 최상위 k 라우팅 방식으로 고정되어 있습니다. 이에 우리는 EDWARD-NMT(Elastic Dimensions With Adaptive Routing and Dual-consistency for NMT)를 제안합니다. 이는 한 번 학습하고 어디서나 배포할 수 있는 패러다임을 지향하는 새로운 MoE 인코더-디코더 아키텍처로, 추론 시점에 다양한 배포 가능한 서브네트워크 계열을 제공합니다. EDWARD-NMT는 세 가지 주요 혁신을 통합합니다: (i) 마트료시카 스타일의 탄성 차원을 통해 메모리 사용량을 유연하게 줄이는 기법; (ii) a
2026년 10월 26일 arXiv에 게재된 최신 연구(arXiv:2610.31821v1)에 따르면, 고전 아랍 시 검색 과제에서 사용자의 구절 기억 잔존 정도(예: 반행을 기억하는지 여부)가 모델의 성능보다 검색 성능을 결정하는 데 훨씬 더 중요한 요소로 작용한다. BM25는 ‘혀끝 효과’ 유형의 쿼리에서는 8B 파라미터의 SOTA 모델을 포함한 모든 밀집 부호화기보다 우수했으나, 추상적 쿼리에서는 크게 뒤처졌다.
추천 이유：이 연구는 이중 코퍼스, 삼중 인덱싱 모드 및 이중 평가 프로토콜을 활용한 체계적인 벤치마크를 통해, 질의 추상화 수준이 다양한 검색 패러다임(어휘적 vs. 밀도 기반)에 미치는 지배적 영향을 최초로 정량적으로 규명하였으며, 인간 라벨러와 오픈소스 가중치 모델을 통한 이중 검증을 거쳐, 그 결론은 방법론적 보편성과 실증적 견고성을 갖추고 있다.
arXiv:2610.31945v1 발표 유형: 신규 초록: 본 보고서는 총 매개변수 수 781억 개, 토큰당 활성 매개변수 수 34.6억 개를 갖춘 영어-독일어 혼합 전문가형 트랜스포머인 Kolibri를 소개하며, 이 모델은 Apache 2.0 라이선스 하에 오픈 가중치로 공개되었습니다. 우리는 주권적이고 특화된 배포를 위해 Kolibri를 구축했으며, 특히 독일어와 공공 행정, 산업, 항공우주 등 규제되는 분야에 중점을 두었습니다. 이러한 환경을 지원하기 위해 데이터, 아키텍처, 학습 인프라, 후처리 및 평가에 이르기까지 모델 개발의 전 과정을 직접 관리합니다. Kolibri는 사전 학습, 중간 학습 및 장문 컨텍스트 확장 단계를 거쳐 총 24T 토큰 규모로 학습되었으며, 데이터 구성에서 독일어가 바이트 기준으로 20% 이상을 차지합니다. 이 비중을 달성하기 위해 우리는 독일어 데이터셋을 보완하여
arXiv 논문(2610.31678v1)은 대화형 대규모 언어 모델 평가에서 자동 채점 도구의 전체 정확도나 F1 점수에만 의존하면 프롬프트 특이적 오류가 가려져 프롬프트 효과에 대한 잘못된 판단을 초래할 수 있다고 지적한다. 실증 분석에 따르면, 동일한 채점 도구가 서로 다른 프롬프트에서 보이는 위양성률은 2.6%에서 33.3%로 크게 차이 나며, 겉보기로 유의미한 9.3점의 효과도 두 개의 LLM 심사 하에서는 2.3점으로 축소되고 통계적으로 유의미하지 않게 된다.
추천 이유：이 연구는 실제 실험 데이터(6개의 모델, 180개의 가상 개체 질문, 6가지 프롬프트 조건)를 기반으로 하며, 현재 LLM 평가에서 널리 존재하는 방법론적 취약점을 밝혀냈습니다—즉, 스코어러의 전반적인 성능을 핵심 비교 과제에서의 신뢰성과 동일시하는 문제입니다. 핵심 주장(각 프롬프트를 별도로 검증하고 불확실성을 반영해야 한다는 점)은 명확한 실증적 근거와 실행 가능한 권고안을 바탕으로 하며, 발표 시점(2026년 10월 26일)과 출처의 신뢰성(arXiv 사전출판 플랫폼) 측면에서도 높은 시의성을 갖습니다.
arXiv에 2026년 10월 26일 게재된 논문 “MisconceptDialogue: Evaluation Criteria Shape Measured Success in LLM Math Tutoring”은 MISCONCEPTDIALOGUE 자동화 평가 프레임워크를 제안하며, 5,000회 이상의 대화 테스트를 바탕으로 수학 과외 모델로서 5종의 오픈소스 소규모 파라미터 LLM(7B–14B)의 성능을 평가했습니다. 연구 결과, 주류인 정확히 일치하는 점수 매기기 방식에서는 구제 성공률이 42.1%에 불과한 반면, 인공적으로 보정된 LLM 심사자의 평가는 동일한 대화에서 81.3%로 나타나, 그 차이는 39.2%p에 달했습니다. 또한 이러한 편차는 우연한 것이 아니며, 네 가지 유형의 LLM 심사자와 200개의 인공 라벨링 결과 간에는 높은 일치도(kappa 최대 0.91)가 확인되었습니다. 아울러 모델은 진단 정보(정확한/잘못된 개념)에 대한 응답에서 거의 차이를 보이지 않아, 진단 입력을 효과적으로 활용하기 어렵다는 점을 시사합니다.
추천 이유：이 연구는 현재 LLM 교육 적용 평가 방법론의 핵심적 결함을 정면으로 지적한다: 단일하고 경직된 자동 채점에 의존하면 실제 능력 판단이 심각하게 왜곡될 수 있다는 점이다. 또한 대규모 시뮬레이션 실험 설계, 다수 평가자 간 수렴 검증, 그리고 진단-교육 연계의 실패에 대한 실증 분석을 통해, AI 기반 교육 평가의 표준화를 위한 중요한 경고와 재현 가능한 방법론적 기준을 제시하였다.
2026년 10월 24일, 연구자들은 arXiv에 논문 arXiv:2610.30841v1을 발표하여, 텍스트·이미지·오디오의 삼모달 협력적 모호성 해소 능력을 평가하기 위한 새로운 벤치마크인 TRIAD를 공식적으로 출시했습니다. 이 벤치마크는 327개의 수작업으로 구성된 삼모달 샘플을 포함하며, 86개의 시나리오 그룹과 18종의 교차모달 모호성 유형을 포괄합니다.
추천 이유：이 성과는 현재 다중모달 대규모 모델 평가의 핵심적 맹점을 정면으로 지적한다. 기존 벤치마크는 대부분 단일한 확정적 입력에 초점을 맞추어 인지 또는 추론을 평가해 왔으나, TRIAD는 최초로 ‘모달 상호보완에 의한 오류 해소’를 평가 목표로 체계적으로 접근했다. 엄격히 설계된 ‘남은 하나의 모달’ 반사실 시험을 통해, 특히 음성 데이터에 대한 모델의 활용 부족과 장면 수준에서의 취약한 로버스트성 등 핵심적인 결함을 드러내며, 차세대 전모달 모델 평가를 위한 재현 가능한 진단 프로토콜과 분류법을 제공한다.
arXiv:2610.30355v1 Announce Type: new Abstract: Hallucinated citations make it harder to trace sources and verify the evidence behind scientific claims. Detecting them is difficult because bibliographic records can be incomplete or differ across source types and publication versions. A plausible match alone neither validates the citation nor establishes its underlying source. We introduce CiteResolve, a benchmark of 423 real-world hallucinated citations annotated for source recoverability. We further propose CiteAnchor, a source-aware grounding framework that adapts retrieval and field-level verification to each source type and separately determines citation validity and whether a unique source can be recovered. On an existing detection benchmark, CiteAnchor achieves 0.841 F1 with GPT-5.6
번역 대기 중 · 원문 표시 · en2026년 10월 24일, 연구자들은 arXiv에 논문 arXiv:2610.30162v1을 발표하여, 대규모 언어 모델의 통합 방법 평가를 위해 설계된 최초의 통합 벤치마크인 FusionEval을 제안했다. 이 벤치마크는 추론 체인 길이, 도구 호출 등 취약한 부분을 포괄하며, 학습 기반 및 학습 불필요형 통합 방법 간의 비교도 지원한다.
추천 이유：이 벤치마크는 기존 평가에서 장기 체인 추론과 도구 활용에 대한 포괄성이 부족한 점을 보완하며, 평균 성능과 최악의 성능 간의 명확한 구분을 제공하고, Qwen3/Llama 기반의 재현 가능한 전문가 풀, GPU 메모리 및 실행 시간을 포함한 다차원 지표, 그리고 오픈소스 코드를 제공하여 강력한 실무 지침성을 갖추고 있습니다.
2026년 10월 24일 arXiv에 게재된 한 논문은 현재 주류 코딩 지능 에이전트 벤치마크(예: SWE-Milestone)에 ‘규격–오라클 격차’가 존재한다고 지적한다. 즉, 과제의 자연어 설명에는 테스트에 필요한 핵심 구현 세부사항(예: 상수 이름, 모듈 경로, 정확한 오류 메시지 등)이 포함되어 있지 않아, 평가 결과가 실제로는 상위 코드를 얼마나 재현하는지에 대한 능력을 측정할 뿐이며 진정한 이해와 추론 능력을 반영하지 못한다는 것이다.
추천 이유：이 연구는 해당 유형의 편향을 최초로 형식적으로 정의하고, 다섯 가지 언어를 포괄하는 정적 감사 도구를 구축하여 정확도 89.2%, 재현율 92.9%를 달성했으며, SWE-Milestone에서 25개의 마일스톤 작업에 추론할 수 없는 암시적 의존성이 존재함을 실증적으로 밝혀냈습니다. 이는 실패율을 크게 높였으며(80.6% 대 48.4%), 현재 순위표가 ‘명칭 복사’형 에이전트를 체계적으로 선호할 수 있음을 드러냅니다. 연구 결과는 감사 도구와 수정 자료를 오픈소스로 공개하여 방법론적 및 실무적 측면에서 모두 높은 가치를 지닙니다.
2026년 10월 24일, arXiv는 논문 arXiv:2610.30970v1을 발표했으며, 여기서는 도구 선택과 같은 닫힌 집합 의사결정 과제에서 파라미터 수가 1,700만에서 10억 사이인 컴팩트한 인코더의 설계 옵션—모든 옵션을 동시에 읽는 방식 대비 각 옵션을 개별적으로 평가하는 방식—을 체계적으로 평가했다. 연구 결과에 따르면, 파라미터 수 3,200만 규모에서는 옵션별 평가가 통합 평가보다 기술 지표에서 유의미하게 우수했으나, 계산 비용이 더 높고 지연 시간의 불균형이 더 심각했다. 또한 여러 System1-Arena 벤치마크에서 파라미터 수 6,800만 및 1억 5천만 규모의 통합 인코더가 파라미터 수 4억 3,500만의 DeBERTa-v3 제로샷 분류기보다 우수한 성능을 보였다.
추천 이유：이 논문은 현재 대규모 모델의 하위 결정 모듈에 대한 경량화 설계에 관한 주요 실증적 비교를 제공하며, 아키텍처 선택, 초기화 의존성, 지연-정확도 갈등, 입력 순서에 대한 로버스트성 등 엔지니어링상의 주요 고려사항을 포괄합니다. 데이터는 세 개의 랜덤 시드 실험과 공개/비공개 벤치마크 검증을 기반으로 하며, 발표일(2026-10-24)은 현재 UTC 날짜(2026-10-25)와 일치하여 최신의 신뢰할 수 있는 연구 성과에 해당합니다.
AI 스타트업 Recursive는 오픈소스 코딩 모델 Flint를 출시했으며, 개발 과정의 대부분이 자체 개발한 AI 연구 시스템 Eureka Machine에 의해 이루어졌다고 밝혔다. 이 모델은 파라미터 수가 400억 개에 불과하며, 실제 테스트에서 활성화 수는 25억 개로 확인되었고, M4 Pro MacBook과 같은 일반 노트북에서도 오프라인으로 실행 가능하다. 추론 속도는 초당 131 토큰에 달하며, SWE-Bench 등 벤치마크 테스트에서 동급 규모의 대부분 모델보다 우수한 성능을 보였다.
NVIDIA는 사전 훈련된 관계형 기반 모델인 Kumo Relational을 출시했으며, 이 모델은 기업용 관계형 데이터베이스에서 이탈 예측, 사기 탐지, 수요 예측 등 다양한 예측 작업을 직접 수행할 수 있습니다. 작업 미세조정, 특성 엔지니어링 또는 테이블 평탄화가 필요하지 않습니다. 15개 데이터베이스에 걸친 41개의 벤치마크에서 XGBoost 등 감독 학습 모델을 전면적으로 능가했으며, SAP SALT 기업 벤치마크에서는 MRR 지표에서 AutoGluon보다 8% 앞섰습니다. 또한 5,000억 행 규모의 데이터베이스를 지원하며, Predictive Query Language(PQL)를 통해 코드 없이 예측 호출을 구현할 수 있습니다.
IBM 연구소는 ALTK-Evolve 방법을 제안했으며, GPT-4.1을 활용해 자체 작업 흐름에서 신원 인증, 환불 확인 등과 같은 구조화된 행동 지침을 자동으로 도출하고, 이를 순수 프롬프트 엔지니어링 방식으로 ReAct 에이전트 시스템에 주입함으로써 모델 가중치를 업데이트하거나 인간의 라벨링에 의존하지 않고도 고객 서비스 과제의 정확도와 신뢰성을 크게 향상시켰다. 또한, 이 기술의 리테일 분야 버전은 67.5%의 Pass⁴ 점수로 τ²-bench 2026년 10월 12일 기준 순위 1위를 차지하며, 모든 최첨단 모델 및 미세 조정 시스템을 능가했다.
Learn how OpenAI is improving ChatGPT across low-resource programming languages, with new evaluations for software engineering, SQLite, and COBOL migration.
번역 대기 중 · 원문 표시 · enWe’re launching ReviewBench, a benchmark for code review agents built on representative GitHub pull requests, multi-source ground truth, calibrated evaluation, and production-aligned metrics. The post ReviewBench: An open benchmark for AI code review appeared first on The GitHub Blog.
번역 대기 중 · 원문 표시 · enTTS 리더보드 열기: 다국어 텍스트로 변환할 수 있는 평가 및 Voice Cloning
MentalHealthBench는 현실적인 정신 건강 대화의 맞은편에 도움과 안전한 AI 응답을 평가하는 포괄적인 벤치 마크입니다.
영국 AISI 및 EvalEval은 벤치 마크 결과 재현성
