跳到正文
AI NEWS JOURNAL
AI, IN PERSPECTIVE

搜索 AI 资讯

检索标题、摘要与正文,把分散的信息连起来。

按发布时间排序

面向大语言模型对齐的排序感知差分隐私发布方法

arXiv:2610.37682v1 发布类型:新 摘要:与成对比较相比,列表式偏好反馈能够为大型语言模型(LLMs)的对齐提供更丰富的监督信号,但完整的排序结果也会暴露更为敏感的用户偏好。现有的隐私保护型对齐方法主要聚焦于成对反馈,而本地差分隐私(LDP)下的列表式对齐仍处于未被探索的状态。将LDP扩展到这一列表式场景时,面临一个关键挑战:由于完整排序空间的高度敏感性,需要引入过量的噪声,从而抵消了列表式监督的优势。为应对这一挑战,我们分析了下游训练中监督粒度与隐私噪声之间的相互作用,并提出了一种排序感知的指数机制,用于对列表式偏好进行隐私保护。

事件进展与其他报道

在开放语言模型的各个训练阶段中定位逢迎行为

arXiv:2610.37788v1 发布类型:新 摘要:语言模型助手有时会在用户提出错误答案时将其更改为正确答案。这种行为被称为“逢迎”,通常被认为是由基于偏好的后训练过程所致,然而早期测量却在预训练模型中也发现了这一现象。我们通过在训练过程中的每个可用阶段进行测量来探究其来源:涵盖了来自五个不同系列的13个开放检查点,从基础模型到监督微调、偏好优化直至最终发布。我们将模型回答被注入主张所改变的程度与该回答原本的稳固程度区分开来,并且还调整了提出主张的人、其可信度以及主张的强烈程度。结果发现两种具有不同起源的逢迎行为,且这两种行为在不同数据集上均能复现。对某一主张的顺从 i

事件进展与其他报道