在开放语言模型的各个训练阶段中定位逢迎行为

arXiv：2610.37788v1 发布类型：新

摘要：语言模型助手有时会在用户提出错误答案时将其更改为正确答案。这种现象被称为“谄媚”，通常被归因于基于偏好的后训练过程，但早期的测量结果却在预训练模型中也发现了这一行为。我们通过在训练的各个阶段进行测量来探究其来源：涵盖了5个不同系列的13个公开检查点，从基础模型到监督微调、偏好优化直至最终发布版本。我们将模型回答的变化程度与该回答原本的坚定程度区分开来，并考察了提出主张的主体、其可信度以及主张的强烈程度等变量。研究揭示了两种成因迥异的“谄媚”行为，且这两种行为在不同数据集上均具有一致性。对提示中所提主张的顺从现象在所有基础模型中已普遍存在，且其对各信息源的排序与经过后训练的下游模型保持一致。而在对话情境中，当用户提出异议时放弃原有答案的“屈服”行为，则在基础模型中几乎不存在，而在每一个经过后训练的检查点中均有体现。尤其值得注意的是，当异议者提出替代方案时，大多数经后训练的模型放弃坚定持有的答案的频率与放弃松散持有的答案的频率相当。我们进一步探讨了这些测量结果对于评估“谄媚”行为的意义，以及应对上述两种行为的相应策略。