2026年10月24日，一篇题为《What Pairwise Evaluation Misses: Reward Scores across Prompts》的AI研究论文在arXiv平台发布（编号arXiv:2610.31090v1），聚焦奖励模型（reward models）在偏好优化、响应筛选与排序中的核心作用。研究指出：现有广泛采用的成对评估（pairwise evaluation）仅比较同一提示下的两个响应，导致所有响应共享的提示相关评分成分被自动抵消，因而完全无法检测该成分。
为量化这一被忽略的偏差，作者提出一种‘人类参照审计’（human-referenced audit），综合使用提示间方差占比分析、同胞评分回归（sibling-rating regression）及提示替换实验，并将其应用于18个已公开发布的奖励评分器及6组匹配的训练条件。结果显示，在HelpSteer2基准上，6个奖励模型的提示间方差占比达0.34至0.64，而对应人类评分的提示间方差接近零，表明模型评分显著‘按提示聚类’，而非按响应质量区分。
进一步实验发现：将原始提示替换为固定指令后，模型评分仍保持明显聚类，但与提示层级的人类评分一致性大幅下降，说明聚类本身不等于与人类判断一致；同时，减去提示均值会降低全局优选响应的有用性，且模型评分即使在训练阶段打乱提示均值后，仍对错误提示保持敏感——这表明提示相关变异既非纯噪声，也非完全可靠信号。论文最终建议：奖励模型评估应将‘提示间变异’‘对错误提示的敏感性’和‘对响应选择的实用性’三者分开检验。