检索标题、摘要与正文，把分散的信息连起来。
arXiv:2610.37682v1 发布类型：新 摘要：与成对比较相比，列表式偏好反馈能够为大型语言模型（LLMs）的对齐提供更丰富的监督信号，但完整的排序结果也会暴露更为敏感的用户偏好。现有的隐私保护型对齐方法主要聚焦于成对反馈，而本地差分隐私（LDP）下的列表式对齐仍处于未被探索的状态。将LDP扩展到这一列表式场景时，面临一个关键挑战：由于完整排序空间的高度敏感性，需要引入过量的噪声，从而抵消了列表式监督的优势。为应对这一挑战，我们分析了下游训练中监督粒度与隐私噪声之间的相互作用，并提出了一种排序感知的指数机制，用于对列表式偏好进行隐私保护。
arXiv:2610.37680v1 发布类型：新 摘要：缩小前沿模型与小型语言模型之间的差距，通常采用蒸馏方法：在前沿模型（教师）的输出上对小型模型（学生）进行微调，但这使得迁移过程依赖于训练计算，并且被迁移的知识往往难以解释。我们提出了一种名为“制品蒸馏”的方法：由教师模型解决一系列训练实例，并将其求解过程外化为一个制品库，学生在推理时直接查询该库，而无需进行梯度更新。在四项LiveBench任务中，由Claude Opus 4.5构建的制品库使Claude Haiku 4.5在空间推理任务上的表现（0.707 vs. 0.647）达到其自身成本的60%时，已超越未借助任何辅助的Claude Sonnet 4.5；而在表格连接任务上，该制品库仅以Sonnet 4.5成本的89%便达到了相同水平。同样的原始制品库还提升了
arXiv：2610.37788v1 发布类型：新 摘要：语言模型助手有时会在用户提出错误答案时将其更改为正确答案。这种行为被称为“逢迎”，通常被认为是由基于偏好的后训练过程所致，然而早期测量却在预训练模型中也发现了这一现象。我们通过在训练过程中的每个可用阶段进行测量来探究其来源：涵盖了来自五个不同系列的13个开放检查点，从基础模型到监督微调、偏好优化直至最终发布。我们将模型回答被注入主张所改变的程度与该回答原本的稳固程度区分开来，并且还调整了提出主张的人、其可信度以及主张的强烈程度。结果发现两种具有不同起源的逢迎行为，且这两种行为在不同数据集上均能复现。对某一主张的顺从 i
arXiv:2610.33065v1 发布类型：新 摘要：由于头皮记录存在噪声、空间分辨率较低，且在不同试验和受试者之间具有较大差异，脑电图（EEG）的视觉解码仍然十分困难。大多数系统将每次试验与一个密集的图像嵌入对齐，然而该嵌入同时混杂了语义内容以及与具体实例相关的纹理、姿态和背景信息。这种做法往往需要EEG本身并不具备的细节信息，且未能明确说明支持预测的视觉因素。我们提出\textbf{ProtoEEG}，一种基于原型的框架，它将EEG与图像的对齐问题重新表述为在共享的可学习视觉码本之上进行软性组合。一个可训练的EEG编码器与一个冻结的视觉教师共同生成针对同一$K=64$个原型的分配分布。它们的加权重构构成了一种结构化的表征
arXiv：2610.32997v1 发布类型：新 摘要：诸如OpenAI的Whisper等自动语音识别（ASR）模型在语音识别质量方面取得了显著提升，但微调成本依然高昂，尤其是在拥有大量已转录音频的情况下。这使得许多从业者难以将这些模型适配到新的语言或领域。在本研究中，我们提出了一种基于嵌入的子集选择方法，用于为ASR微调挑选更小规模的训练集。我们利用Whisper的预训练编码器，将每个音频样本映射到一个固定维度的嵌入空间，并采用贪心的k中心算法来选取多样且具代表性的训练数据子集。我们在希伯来语和丹麦语上对该方法进行了评估，结果表明，k中心选择往往能
对机器而言，“夜晚”是什么？
arXiv:2610.31687v1 发布类型：新 提要：大型语言模型正越来越多地被用于模拟和探究人类行为，例如开展问卷调查。对于这类应用，一个关键特性是输出需满足分布对齐：即其输出分布应与某一参考（在本例中为人类）分布相一致。实现分布对齐的一个障碍在于如何从小规模训练数据中进行泛化。本文研究了：(1) 如何使大型语言模型实现分布对齐；以及 (2) 实现分布对齐的大型语言模型在面对未见样本以及不相关主题与任务时的泛化能力。通过两个大规模基准测试，我们发现大型语言模型确实能够实现分布对齐，并且能够在同一领域的未见问题上实现泛化。而跨主题的泛化则取决于各主题之间的关联性（例如…
arXiv：2610.31911v1 发布类型：新 摘要：随着大型语言模型（LLMs）处理的序列长度不断增长，注意力机制已成为主要的计算瓶颈。稀疏注意力大多面向推理阶段，但许多方法在训练时仍采用密集模式，或无法支持稀疏训练；此外，这些方法额外增加的复杂性使得稀疏性难以转化为实际的运行时间加速，因此在实践中密集注意力仍然被广泛使用。本文提出了 LazyFlash，一种前向密集、后向稀疏的注意力机制，其核心基于这样一个观察：注意力机制的训练过程主要由反向传播阶段主导。LazyFlash 使前向传播保持完全密集，因此训练得到的模型仍然是标准的密集模型，现有系统（如 vLLM）无需任何修改即可直接服务。对于反向传播阶段，LazyFlash 提出了一种梯度-a
Sebastian Raschka于2026年10月24日在Ahead of AI杂志（magazine.sebastianraschka.com）发布一套共八讲、超11小时的Python与PyTorch实操视频课程，系统讲解推理模型的评估、推理时扩展、强化学习（RLVR）与知识蒸馏，基于预训练Qwen3-0.6B模型实现全部方法。
推荐理由：该课程是作者继《从零构建大语言模型》后推出的进阶技术教育内容，聚焦当前主流LLM的核心演进方向——推理能力增强，覆盖从基础环境搭建到GRPO强化学习、自蒸馏等完整技术链，且明确声明所有实现均‘从零手写’、可复现，具备强教学性与工程参考价值。
AWS发布Multi-Turn Reinforcement Learning（MTRL）功能，使用户可在SageMaker AI上基于完整任务轨迹与最终结果反馈训练大模型智能体，无需步骤级标注；以Wordle为示例演示全流程，涵盖AgentCore部署、数据准备、GRPO训练、奖励设计及成本分析。
