2026년 10월 26일에 게시된 arXiv 논문(번호 2610.31678v1)은 다음과 같이 경고한다: 대규모 언어 모델(LLM)의 대화형 평가에서 자동 점수 매기기 도구(scorer)를 검증할 때 전체 정확도나 F1 점수만을 사용하면, 프롬프트 전략의 효과에 대한 판단을 크게 오도할 수 있다. 예를 들어, ‘중립적 재고 요청’과 ‘허구의 영화가 실제로 존재한다고 단언하는’ 두 가지 유형의 프롬프트로 인해 생성된 모델 응답을 비교할 때, 특정 프롬프트에서 점수 매기기 도구의 오류율이 현저히 증가한다면, 측정된 ‘대화 압력 효과’는 과장되거나 축소되거나 심지어 방향이 뒤바뀔 수도 있다.
연구는 두 가지 감사 결과를 통해 이 문제를 검증하였다. 첫 번째 감사에서는 288개의 균형된 표본을 대상으로 하였으며, 점수 매기기 도구의 전체 F1 점수는 0.916에 달했지만, 서로 다른 프롬프트에 대한 위양성률은 2.6%에서 33.3%로 매우 큰 편차를 보였다. 또한 이러한 프롬프트 특이성 추정치 자체에도 불확실성이 존재했다. 두 번째 감사에서는 동일한 300개의 모델-질문 사례를 대상으로 점수 매기기 도구와 두 명의 독립적인 LLM 평가자가 함께 평가하였는데, 당초 9.3%포인트로 보였던 효과 차이는 두 명의 평가자가 참여한 경우 2.3%포인트로 축소되었고, 주요 평가자의 신뢰구간에는 영(0)이 포함되어 통계적 유의성을 확립할 수 없었다.
또한, 다른 두 가지 힌트에 대한 비교 결과는 이중 심사 하에서 방향이 일관되게 나타났으나, 한 번의 시도에 불과한 힌트의 특이성 보정은 불확실성이 지나치게 높아 확정적인 결론을 도출하지 못했다. 논문은 최종적으로 다음과 같이 촉구한다: 연구자들은 보고하려는 구체적인 힌트 간 차이를 직접 검증해야 하며, 단순히 점수 매기기 도구의 전반적 성능만을 검증해서는 안 된다—즉, 일치하는 사례들에 대해 두 가지 힌트를 동시에 검토하고, 최종 결과에는 점수 매기기 도구와 인간 심사자의 불확실성을 명시적으로 제시해야 한다.