2026년 10월 24일, ‘What the Specification Did Not Say: Specification-Oracle Gaps in Test-Graded Coding-Agent Benchmarks’라는 제목의 논문이 arXiv에 게재되었으며(번호 2610.30635v1), 현재 코딩 에이전트 벤치마크에서 널리 존재하는 ‘규격–오라클 간극’(specification-oracle gap) 문제를 체계적으로 규명하였다.
이 격차는 다음과 같은 상황을 의미한다: 과제가 자연어로 기술되지만, 평가는 상위 프로젝트의 실제 테스트 케이스에 의존한다. 그런데 이러한 테스트를 통과하려면 종종 설명에서 전혀 언급되지 않은 구현 세부사항—예를 들어 특정 상수의 정확한 이름, 모듈의 임포트 경로 또는 오류 메시지 문자열 등—을 알아야 한다. 이러한 정보는 명세로부터 합리적으로 추론할 수 없으므로, 평가는 사실상 에이전트의 원본 코드 재현 능력을 평가하는 것이 되고, 일반화된 프로그래밍 능력은 평가 대상이 아니다.
연구팀은 해당 격차와 다단계 의존 작업 체인에서 발생하는 불일치를 형식적으로 모델링하고, 다섯 가지 프로그래밍 언어를 지원하는 정적 감사 도구를 개발하여 각 평가 테스트의 이름, 경로 및 리터럴 수준에서의 암묵적 의존성을 자동으로 식별할 수 있도록 했다. 이 도구는 검증 세트에서 정확도 89.2%, 재현율 92.9%를 달성했다. SWE-Milestone 벤치마크(총 98개의 평가 마일스톤과 35회의 공개 실행 포함)에서는 25개의 마일스톤이 적어도 하나의 의존성이 추론되지 않는 이름 또는 경로를 포함하는 테스트를 포함하고 있음이 확인되었다.
실증 결과에 따르면, 이러한 암시적 의존성을 포함하는 빌드 단위는 실행의 80.6%에서 실패하는 반면, 동종의 의존성이 없는 단위의 실패율은 48.4%에 불과하다. 또한 참조 구현체의 핵심 이름 하나만 숨겨도, 전체 128개 사례 중 126개에서 컴파일이 실패했다. 영향을 받는 테스트를 제거한 후에도 순위표의 전반적인 정렬은 안정적이었지만, 저장소 내 점수 분포가 왜곡되었으며, 상위 레벨의 명명 관행을 재현하는 에이전트에게 더 큰 보상을 주는 경향이 나타났다.
네 가지 다른 벤치마크를 추가로 분석한 결과, 격차의 만연도는 과제 명세서의 생성 방식에 크게 의존하는 것으로 나타났다. 명세서가 버전 릴리스 노트나 대규모 모델 요약에서 도출된 경우, 과제의 3분의 1 이상이 그 영향을 받았으며, 반면 과제가 인공적으로 선별되었거나 테스트 전용으로 맞춤 제작된 경우에는 거의 영향을 받지 않았다. 연구진은 감사 도구와 수정된 필터링 목록, 그리고 명세서 보완 설명을 오픈소스로 공개했다.