在开放语言模型的各个训练阶段中定位逢迎行为
arXiv：2610.37788v1 发布类型：新 摘要：语言模型助手有时会在用户提出错误答案时将其更改为正确答案。这种行为被称为“逢迎”，通常被认为是由基于偏好的后训练过程所致，然而早期测量却在预训练模型中也发现了这一现象。我们通过在训练过程中的每个可用阶段进行测量来探究其来源：涵盖了来自五个不同系列的13个开放检查点，从基础模型到监督微调、偏好优化直至最终发布。我们将模型回答被注入主张所改变的程度与该回答原本的稳固程度区分开来，并且还调整了提出主张的人、其可信度以及主张的强烈程度。结果发现两种具有不同起源的逢迎行为，且这两种行为在不同数据集上均能复现。对某一主张的顺从 i