본문으로 건너뛰기
AI NEWS JOURNAL
AI, IN PERSPECTIVE

AI 뉴스 검색

제목, 요약, 본문을 검색해 흩어진 정보를 연결하세요.

발행 시간순

연구는 코딩 에이전트 벤치마크에서의 ‘규범-오프체인 오라클 갭’ 문제를 밝혀냈다.

2026년 10월 24일 arXiv에 게재된 한 논문은 현재 주류 코딩 지능 에이전트 벤치마크(예: SWE-Milestone)에 ‘규격–오라클 격차’가 존재한다고 지적한다. 즉, 과제의 자연어 설명에는 테스트에 필요한 핵심 구현 세부사항(예: 상수 이름, 모듈 경로, 정확한 오류 메시지 등)이 포함되어 있지 않아, 평가 결과가 실제로는 상위 코드를 얼마나 재현하는지에 대한 능력을 측정할 뿐이며 진정한 이해와 추론 능력을 반영하지 못한다는 것이다.

What the Specification Did Not Say: Specification-Oracle Gaps in Test-Graded Coding-Agent Benchmarks

추천 이유:이 연구는 해당 유형의 편향을 최초로 형식적으로 정의하고, 다섯 가지 언어를 포괄하는 정적 감사 도구를 구축하여 정확도 89.2%, 재현율 92.9%를 달성했으며, SWE-Milestone에서 25개의 마일스톤 작업에 추론할 수 없는 암시적 의존성이 존재함을 실증적으로 밝혀냈습니다. 이는 실패율을 크게 높였으며(80.6% 대 48.4%), 현재 순위표가 ‘명칭 복사’형 에이전트를 체계적으로 선호할 수 있음을 드러냅니다. 연구 결과는 감사 도구와 수정 자료를 오픈소스로 공개하여 방법론적 및 실무적 측면에서 모두 높은 가치를 지닙니다.

진행 상황 및 관련 보도

저자원 언어에서의 연구 진전 및 언어적 포용성 측정

arXiv:2610.30296v1 발표 유형: 신규 초록: 대규모 언어 모델(LLMs)은 저자원 및 다국어 NLP에 대한 연구를 가속화했지만, 이들이 공평한 연구 환경을 조성하는 데 얼마나 효과적인지는 아직 명확히 규명되지 않았습니다. 우리는 2020년부터 2025년까지 출판된 1,158편의 동료 심사 오픈 액세스 논문을 분석하여, 저자원 언어(LRLs)에 대한 연구 관심도와 언어 및 사용자 집단 전반에 걸친 표현 수준을 검토합니다. 출판 건수 외에도 언어적 포용성을 평가하기 위해, 우리는 언어적 포용성 프레임워크(LIF)를 도입합니다. 이는 연구 성장, 표현 확대, 표현 지속성, 그리고 분포적 형평성 등 네 가지 차원에서 언어적 포용성을 측정하는 다차원적 체계입니다. 연간 출판물 수는 52건에서 415건으로 5.4배 증가했으며, ACL Antholo

Measuring Research Progress and Linguistic Inclusion in Low-Resource Languages
진행 상황 및 관련 보도

내일 무엇을 물어볼지 학습하기: 장기적 개인화 웹 에이전트를 위한 능동적 선호도 획득

arXiv:2610.31107v1 발표 유형: 신규 요약: 웹 에이전트는 여행 예약, 쇼핑, 일정 관리 등 반복적인 온라인 작업에서 동일한 사용자를 지속적으로 지원하므로, 그들의 장기적 유용성은 사용자의 선호를 얼마나 잘 파악하고 있는가에 달려 있습니다. 수동적 기억 및 개인화 방법은 사용자가 결코 드러내지 않는 선호를 파악할 수 없으며, 현재 작업에 대한 이익만을 중시하는 명확화 방법은 이후 작업에서도 해당 답변을 재사용할 수 있는 이점을 간과합니다. 우리는 능동적 선호도 획득(APA)을 연구합니다: 어떤 누락된 선호가 질문하는 데 드는 비용을 감수할 만한 가치가 있을까요? 우리는 누락된 선호의 전망적 개인화 가치(PPV)를, 향후 작업들에서 기대되는 누적 효용 증가에서 질문에 따른 노력과 정보 공개 위험 비용을 차감한 값으로 정의하고, 질문을 선택합니다.

Learning What to Ask for Tomorrow: Active Preference Acquisition for Long-Term Personalized Web Agents
진행 상황 및 관련 보도