2026年10月24日付のarXivプラットフォームに掲載された研究（番号2610.30512v1）は、大規模言語モデル（LLM）を自動審判として用いて二つの回答の優劣を比較する際、個々の判定が極めて不安定であり、指示の細部にも非常に敏感であると指摘している。さらに、こうした不安定性は、一見安定しているように見える集約スコアによってしばしば隠されているという。
本研究は、Arena-Hard v2.0のプロンプト500件を基に、評価対象の2つのモデルの回答を固定し、GPT-4.1を用いて温度を0に設定、モデルバージョンを固定した条件下で、評価基準・出力形式・タスクの表現方法を網羅する全8種類の指示組み合わせについてシステムテストを実施しました。その結果、デフォルト設定をそのまま使用した場合でも、総合スコアは約1ポイントの変動にとどまりましたが、プロンプトレベルでの判定（勝/引き分け/敗）が21.2%で変化することが明らかになりました。
変更指示を出すと、不確実性が一段と高まる。極めて簡素な指示設定（推論の要件やその他の説明を省略）では、平均的な再実行時の変動に比べて、判定結果の変化がさらに28.2ポイント増加し、集約スコアは4.09ポイント低下した。一方、正確性を優先する設定では、判定変動がわずか6.7ポイント増加するにもかかわらず、集約スコアはほぼ変わらない。このことは、集約スコアの安定性が必ずしも個々の判定の信頼性を保証するわけではないことを示している。
論文は、このような判定を嗜好のラベル付けや個々の応答の品質評価に用いる場合には、各評価設定について繰り返し実行を行い、集約スコアとプロンプト単位での判定の一貫性を同時に報告しなければならないと強調している。そうでなければ、評価結果には系統的なリスクが残る。なお、すべての結論は実験条件下に基づくものであり、他のモデルやデータセットへは一般化されていない。