2026年10月26日付でarXivに掲載された論文（番号2610.31678v1）は、大規模言語モデル（LLM）の対話型評価において、自動スコアラーを検証する際に全体的な正確率やF1スコアのみを用いる場合、プロンプト戦略の効果に関する判断を大きく誤らせるおそれがあると警鐘を鳴らしている。例えば、「中立的な再考の要請」と「架空の映画が実在すると断言する」の二種類のプロンプトから生じるモデルの応答を比較した際、ある特定のプロンプトにおいてスコアラーの誤り率が著しく上昇すれば、測定される「対話圧力効果」は過大評価されたり、過小評価されたり、さらにはその方向性が逆転してしまう可能性がある。
本研究では、2つの監査を通じて当該問題を検証した。第1の監査では、均衡化された288件のサンプルを対象とし、スコアラー全体のF1スコアは0.916であったが、提示文によって偽陽性率に大きなばらつきが見られ、2.6%から33.3%まで幅があったうえ、これらの提示文特異性の推定自体にも不確実性が存在した。第2の監査では、同一の300件のモデル–質問ケースについて、スコアラーと独立した2名のLLM審査員による共同評価を実施した結果、当初は9.3ポイントと見られていた効果差が、両審査員による評価では2.3ポイントに縮小し、さらに主審査員の信頼区間にはゼロが含まれるため、統計的有意性は認められなかった。
さらに、他の二つのプロンプトの比較結果は、二重評価の下でも方向性が一致していた一方で、一度試行されたプロンプト特異性の補正については、不確実性が高すぎたため、確定的な結論を得ることができませんでした。論文は最終的に、研究者は報告しようとする具体的なプロンプト間の差異を直接検証すべきであり、スコアラーの全体的な性能のみを検証するのではなく、マッチング事例において両方のプロンプトを同時に評価し、最終的な結果においてスコアラーと人間による評価の不確実性を明示的に示す必要があると訴えています。