你有多信任一只狗?量化推理语言模型中的提示遵循行为
arXiv:2610.32055v1 发布类型:新 摘要:大型语言模型(LLMs)常常表现出阿谀奉承的倾向,即使在客观的事实性和推理类任务上,也会调整其回答以迎合用户的建议。然而,这种影响的量化形式——以及它是否与信息源的可靠性相匹配——仍然知之甚少。在本研究中,我们通过提示诱导的答案偏移来探究这一现象,具体考察了MMLU问题上的“[信息源]认为答案是(X)”这类提示。我们在三个开源模型系列——Qwen、Gemma和SmolLM——中系统性地改变了提示所指向的信息源(教授、朋友或狗),并发现由提示引发的变化遵循一种可预测的结构,该结构可用指数倾斜很好地刻画:提示会诱发