2026년 10월 24일 arXiv 플랫폼에 게재된 연구(번호 2610.30512v1)는, 대규모 언어 모델(LLM)이 두 개의 답변 간 우열을 비교하는 데 자동 심판으로 활용될 때, 개별 판단이 매우 불안정하고 명령어의 세부 사항에 극도로 민감하다는 점을 지적하며, 이러한 불안정성이 겉보기에는 안정적인 집계 점수에 의해 종종 가려진다고 밝혔습니다.
연구는 Arena-Hard v2.0 프롬프트 500개를 기반으로 하며, 테스트 대상 모델 두 개의 답변을 고정한 상태에서 GPT-4.1을 사용하여 온도를 0으로 설정하고 모델 버전을 잠금 상태로 유지한 조건하에, 평가 기준, 출력 형식 및 과제 표현 방식을 포함한 여덟 가지 명령어 조합 전체를 시스템적으로 테스트했습니다. 그 결과, 기본 설정만 반복했을 때 집계 점수는 약 1점 정도 변동되었지만, 프롬프트 수준에서의 판정(승/무/패)은 21.2%에서 변경된 것으로 나타났습니다.
명령이 변경될 때 불안정성이 더욱 심화된다: 추론 요구사항 및 기타 설명을 생략한 극단적으로 간소화된 명령 설정은 평균 재실행 변동에 비해 판정 변화를 추가로 28.2%포인트 유발하며, 집계 점수는 4.09점 하락한다. 반면 정확성을 우선 기준으로 한 또 다른 설정에서는 판정 변동이 6.7%포인트 증가하는 데 그치지만, 집계 점수는 거의 변하지 않는다. 이는 집계 점수가 안정적이라고 해서 개별 판정의 신뢰성이 보장된다는 것을 의미하지 않음을 보여준다.
논문은 이러한 종류의 판정을 선호도 표시나 개별 응답 품질 평가에 활용하려면, 각 평가 설정마다 반복 실행을 수행하고 집계 점수와 프롬프트 수준의 판정 일치성을 동시에 보고해야 하며, 그렇지 않을 경우 평가 결과에 체계적 위험이 존재한다고 강조한다. 모든 결론은 실험적 설정에 기반한 것이며, 다른 모델이나 데이터셋으로 확장되지는 않았다.