arXiv:2610.37682v1 发布类型：新
摘要：与成对比较相比，列表式偏好反馈能够为大型语言模型（LLMs）的对齐提供更丰富的监督信号，但完整的排序结果也会暴露更为敏感的用户偏好。现有的隐私保护型对齐方法主要聚焦于成对反馈，而本地差分隐私（LDP）下的列表式对齐仍处于未探索状态。将LDP扩展到这一列表式场景时，面临一个关键挑战：由于完整排序空间的高度敏感性，所需的噪声量过大，从而抵消了列表式监督的优势。为应对这一挑战，我们分析了下游训练中监督粒度与隐私噪声之间的相互作用，并提出了一种基于排序感知的指数机制，该机制可将列表式偏好数据私有化为适合下游对齐的低敏感度粒度。该机制利用排序信息采样固定大小的二值划分，使噪声集中于边界项附近，而非像随机响应（RR）那样对所有项目进行均匀扰动。在下游大型语言模型对齐任务上的实证评估表明，在相同隐私预算下，我们的机制始终优于现有的LDP基线方法。代码已发布于https://github.com/tdsai-lab/RAEM.。