检索标题、摘要与正文，把分散的信息连起来。
arXiv:2610.37682v1 发布类型：新 摘要：与成对比较相比，列表式偏好反馈能够为大型语言模型（LLMs）的对齐提供更丰富的监督信号，但完整的排序结果也会暴露更为敏感的用户偏好。现有的隐私保护型对齐方法主要聚焦于成对反馈，而本地差分隐私（LDP）下的列表式对齐仍处于未被探索的状态。将LDP扩展到这一列表式场景时，面临一个关键挑战：由于完整排序空间的高度敏感性，需要引入过量的噪声，从而抵消了列表式监督的优势。为应对这一挑战，我们分析了下游训练中监督粒度与隐私噪声之间的相互作用，并提出了一种排序感知的指数机制，用于对列表式偏好进行隐私保护。
对机器而言，“夜晚”是什么？
arXiv:2610.31726v1 发布类型：新 摘要：有效的人机协作需要能够与不可预测的人类伙伴进行协调的智能体。通过实时人类反馈或大规模行为数据集进行强化学习成本高昂，而纯模拟训练则容易过拟合于人工设定的规范，在与真实人类的零样本协作中往往表现不佳。我们提出了一种针对认知受限伙伴训练协作智能体的框架：这些模拟伙伴的多样性源于基于人类生理学文献的程序化约束，具体包括反应延迟和感知局限，而非依赖奖励塑造或历史训练中的关键节点。在经过改造的月球着陆器环境中，我们报告了初步证据，表明这些伙伴的表现更接近r
arXiv：2610.32237v1 发布类型：新 摘要：在现代金融市场中，超过四分之三的大宗交易均由基于先进交易策略的算法交易执行，其精度与速度均优于传统的人工交易。然而，以价格指标为核心的传统策略难以捕捉由社会情绪、政治不稳定或突发经济变化等现实事件所引发的市场动态。随着深度强化学习（DRL）的兴起及数据获取的日益便捷，亟需更高效的算法，以便将这些外部因素纳入交易策略之中。深度强化学习在模拟现实场景以及简化复杂决策方面展现出巨大潜力，因为DRL智能体能够自动
arXiv：2610.31894v1 发布类型：新 摘要：近期的稀疏自编码器（SAE）能够将大型语言模型（LLM）的表示分解为可解释的特征，从而实现对编码知识的精确读取与控制。然而，现有的SAE将每个特征视为独立单元，而现实世界中的知识往往具有层级化的分类结构。因此，这种读取方式无法保证分类学上的一致性，控制也缺乏足够的粒度来明确指定编辑的范围。我们提出了TaxoSAE，该方法在SAE的特征空间中显式地编码了分类学信息，基于“is-a”（超类—子类）关系构建。TaxoSAE通过堆叠一系列SAE来模拟一个分类体系，每一层对应一个分类层级，并引入了一种分类对齐损失，使每个概念在被激活时都能准确对应其所属的分类层级。
arXiv:2610.32389v1 发布类型：新 摘要：在大型语言模型的强化学习（RL）中，从滚动阶段到训练阶段的轨迹迁移既会影响学习质量，也会降低系统效率。强制执行全批训练要求可能会延迟已完成轨迹的准入，从而导致更高的架构陈旧性——即与集中式执行相比，采用分散式流水线所带来的额外参数版本差距。除了准入问题之外，数据访问与训练消耗之间的错配还会在传输大型轨迹负载时引发冗余移动和不必要的等待。我们提出了 KnitTrans 系统，通过三项设计来协调滚动到训练的路径。首先，基于约束保持的迷你批次准入机制能够在早期迷你批次组合方面提供灵活性……
arXiv:2610.32241v1 发布类型：新 摘要：传统启发式方法在诸如三维装箱问题中的空间利用率和布局紧凑性等核心目标上积累了成熟的经验，其依赖于人工设计的规则型逻辑。然而，这些方法在泛化能力和对动态场景的适应性方面存在明显局限。扩散强化学习融合了强化学习的空间搜索能力与扩散学习的数据分布建模能力，在动作分布建模和决策合规约束等方面取得了一定进展。尽管如此，仍存在诸如对三维装箱问题中空间拓扑结构的感知不足、布局优化能力有限等问题。
AWS团队在Amazon SageMaker HyperPod上对GPT-OSS-20B开展多语言推理微调实验，采用LoRA参数高效微调；SFT将五语种（英/法/德/西/意）推理语言正确率从22%提升至100%，但答案语言正确率仅达62%；GRPO在此基础上进一步提升答案语言正确率至70%，且未损害推理语言表现，但收益因语言而异（如西班牙语+30个百分点，意大利语-20个百分点）；实验明确指出GRPO无法从零启动新能力，仅能优化已偶发的行为。
