LLM评测中聚合分数掩盖个体判决不稳定性：Arena-Hard新研究揭示指令敏感性
该研究使用500条Arena-Hard v2.0提示，固定两个模型的回答，以GPT-4.1为裁判，在8种指令组合下重复评测，发现即使聚合分数变化微小（如±1分），高达21.2%的单条提示判决结果（胜/平/负）发生改变；指令调整进一步放大不稳定性，最高导致28.2个百分点的额外判决变动，而聚合分数却可能几乎不变。
推荐理由：研究直击当前LLM评估实践的核心盲区——过度依赖聚合分数而忽视个体判决的可复现性与指令依赖性，为偏好建模、人类反馈强化学习（RLHF）等依赖细粒度判决的任务提供关键方法论警示。