연구에 따르면 보상 모델 점수에는 유의미한 힌트 의존성이 존재하며, 쌍으로 이루어진 평가는 이러한 편향을 탐지할 수 없다는 사실이 밝혀졌다.
2026년 10월 24일 arXiv에 게재된 한 AI 연구 논문은, 현재 주류를 이루는 쌍방향(pairwise) 평가 방법이 동일한 프롬프트 하에서 모든 응답에 공통적으로 존재하는 점수 구성 요소를 자동으로 상쇄하여, 보상 모델에서 핵심적인 ‘프롬프트 수준의 편향’이 검증되지 않았다고 지적한다. 저자들은 인간 평가를 기준으로 삼아 이미 발표된 18개의 평가기를 대상으로 감사를 실시한 결과, HelpSteer2 데이터셋에서 6개 모델의 점수 분산 중 최대 34%~64%가 프롬프트 자체에 기인하며, 반면 인간 평가는 이러한 현상이 거의 나타나지 않는다는 사실을 발견했다.
추천 이유：이 연구는 대규모 언어 모델의 정렬 과정에서 오랫동안 간과되어 온 근본적인 결함을 지적한다—보상 모델의 점수가 응답의 품질 자체가 아니라 프롬프트 텍스트에 크게 의존한다는 점이다. 또한 해당 연구의 방법론(인간 기준 감사, 프롬프트 교체, 분산 분해)은 재현 가능하며, 그 결론은 실증적 분석에 기반하고 여러 주요 오픈소스 평가 도구를 포괄하므로, 선호도 최적화, RLHF 및 안전성 평가 실무에 대한 직접적인 시사점을 제공한다.