检索标题、摘要与正文，把分散的信息连起来。
arXiv:2610.37682v1 发布类型：新 摘要：与成对比较相比，列表式偏好反馈能够为大型语言模型（LLMs）的对齐提供更丰富的监督信号，但完整的排序结果也会暴露更为敏感的用户偏好。现有的隐私保护型对齐方法主要聚焦于成对反馈，而本地差分隐私（LDP）下的列表式对齐仍处于未被探索的状态。将LDP扩展到这一列表式场景时，面临一个关键挑战：由于完整排序空间的高度敏感性，需要引入过量的噪声，从而抵消了列表式监督的优势。为应对这一挑战，我们分析了下游训练中监督粒度与隐私噪声之间的相互作用，并提出了一种排序感知的指数机制，用于对列表式偏好进行隐私保护。
arXiv：2610.32997v1 发布类型：新 摘要：诸如OpenAI的Whisper等自动语音识别（ASR）模型在语音识别质量方面取得了显著提升，但微调成本依然高昂，尤其是在拥有大量已转录音频的情况下。这使得许多从业者难以将这些模型适配到新的语言或领域。在本研究中，我们提出了一种基于嵌入的子集选择方法，用于为ASR微调挑选更小规模的训练集。我们利用Whisper的预训练编码器，将每个音频样本映射到一个固定维度的嵌入空间，并采用贪心的k中心算法来选取多样且具代表性的训练数据子集。我们在希伯来语和丹麦语上对该方法进行了评估，结果表明，k中心选择往往能
arXiv：2610.32322v1 发布类型：新 摘要：LLM智能体从公共技能中心检索技能，这些中心最多可存储约10万条记录，并为众多模型提供服务。随着模型性能的不断提升，技能中心必须识别出某一模型已内化哪些技能——即该模型已不再依赖这些技能——并将其从该模型的技能库中移除；然而，目前尚无可靠的方法来衡量技能的内化程度。现有规则仅依据有无某项技能时的运行表现差异来进行判断，而这种差异往往微乎其微。无论是对于已被内化的技能，还是在模型与该技能均无法实现相应能力的情况下——我们称这种状态为“未被发现”——其收益几乎都接近于零。因此，我们改采另一种做法：暂不启用该技能，而是基于由该技能衍生的任务对模型进行评分，并且只有当另一模型确实因该技能而获益时，才信任模型在无辅助条件下的高分；因为事实上，近一半的高分都来自那些并未真正体现该技能作用的任务。
arXiv:2610.31728v1 发布类型：新 摘要：Muon 已成为大型语言模型训练中广受欢迎的优化器，但其理论基础仍缺乏深入理解。在本研究中，我们探讨了梯度噪声的几何结构如何影响 Muon 的预条件化优势。我们首先从理论与实验两方面证明，在经典的各向同性噪声假设下，Muon 仅能通过重新缩放学习率而带来加速效果，无法进一步提升性能。这一发现促使我们进一步考察由异构任务频率下的关联记忆中的小批量采样所引起的结构化噪声。我们为两类任务确定了一个精确的平衡阈值，并将分析扩展至多任务场景，揭示了任务覆盖率与梯度可靠性如何共同塑造学习过程。我们的分析表明，Muon 能够缓解……
arXiv：2610.31846v1 发布类型：新 摘要：智能体应当从自身错误中学习，从而使经验带来持续改进。然而，当前的智能体仅能暂时从错误中恢复：上下文中的反思很容易在不同会话间被遗忘，并且会与有限的上下文资源产生竞争；而全参数微调则成本高昂，还可能干扰已有能力。我们提出了一种名为“自我引导”的机制，使智能体能够从错误中学习，兼具临时性上下文重试与策略更新的优势。当智能体执行任务失败时，它会回顾自身的行动轨迹，从中提炼出经验教训，并立即将其转化为一个轻量级的低秩适配器。通过冻结原始权重，自我引导机制有效避免了适配器训练对原有模型的过度覆盖……
