2026年10月24日付でarXivに掲載された論文（ID 2610.31172v1）は、多言語環境で広く用いられている「大規模言語モデルを評価の審判として用いる」（LLM-as-a-Judge）手法について、そのプロンプト戦略の有効性に深刻な限界があることを指摘している。具体的には、Chain-of-Thought（思考の連鎖）やRole Conditioning（役割設定）といったよく推奨される戦略は、いずれも英語ベースのベンチマークに基づいて導かれており、その効果を他の審判モデルや非英語系言語へと信頼性高く移行することはできないという。
本研究は、これまでで最も包括的な多言語におけるプロンプトのロバスト性ベンチマークを構築し、9種類のプロンプト戦略、4つのオープンソースの重み評価モデル、27言語および13のデータセットにわたる4つのタスクを網羅しています。さらに、ゴールドリファレンス出力に対するポイント対ポイントの評価を100万件以上生成し、そのすべてを人的な判断によって検証しました。結果として、プロンプト戦略には転用性がなく、評価結果を左右するのは評価モデルの選択であり、その影響はプロンプト戦略の選択よりもはるかに大きいこと、同一の戦略であっても異なる評価モデルでは相反する効果を示しうること、低資源言語において安定性が著しく低下する一方で、こうした問題はしばしば全体の平均値による報告によって隠されてしまうことが明らかになりました。
研究は、多言語評価におけるプロンプト効果が本質的に審判モデル、タスクの種類、言語の三者によって同時に制約されることを強調している。したがって、プロンプト戦略は具体的な評価シナリオごとに個別に検証しなければならず、研究間で比較する際には、審判モデルとプロンプトの設定を併せて明示しなければ、結論は比較不可能である。原文には具体的なモデル名や言語リスト、数値比較の詳細は示されておらず、すべての結論は当該実験デザインの範囲内に限定される。