研究揭示多语言评估中“大模型当裁判”效果高度依赖裁判模型选择
一项发表于2026年10月24日arXiv的多语言实证研究发现，当前主流的提示策略（如思维链、角色设定）在LLM-as-a-Judge场景下不具备跨模型、跨语言的可迁移性；裁判模型的选择影响力远超提示策略本身，且策略效果甚至会在不同裁判模型间发生方向性反转。
推荐理由：该研究首次系统测量了9种提示策略、4个开源裁判模型、27种语言和13个数据集间的交互效应，产出超100万条经人工校验的点对点评分，填补了英语中心化提示研究与固定模板多语言研究之间的关键空白。