检索标题、摘要与正文，把分散的信息连起来。
arXiv:2610.37680v1 发布类型：新 摘要：缩小前沿模型与小型语言模型之间的差距，通常采用蒸馏方法：在前沿模型（教师）的输出上对小型模型（学生）进行微调，但这使得迁移过程依赖于训练计算，并且被迁移的知识往往难以解释。我们提出了一种名为“制品蒸馏”的方法：由教师模型解决一系列训练实例，并将其求解过程外化为一个制品库，学生在推理时直接查询该库，而无需进行梯度更新。在四项LiveBench任务中，由Claude Opus 4.5构建的制品库使Claude Haiku 4.5在空间推理任务上的表现（0.707 vs. 0.647）达到其自身成本的60%时，已超越未借助任何辅助的Claude Sonnet 4.5；而在表格连接任务上，该制品库仅以Sonnet 4.5成本的89%便达到了相同水平。同样的原始制品库还提升了
对机器而言，“夜晚”是什么？
arXiv:2610.31966v1 发布类型：新 摘要：上下文学习的示范通常通过语义相似度进行检索，而这在结构化预测任务中可能并非相关性的良好替代指标。我们研究了面向通用依存句法分析的示范选择方法，采用一种基于词性签名的策略，该策略以加权词性统计特征表示句子，并从已标注的训练集里检索出三个长度兼容、由人工标注的示例。我们在UD英语网络树库测试集的全部2,077个句子上，对两种未经过微调的开放权重语言模型进行了评估，将该策略与按样本数量和格式匹配的固定三元组及语义三元组基线，以及零样本、链式思维和批判性修正等系统进行了比较。结果表明，基于词性签名的检索方式获得了最高的标注准确率
arXiv:2610.31687v1 发布类型：新 提要：大型语言模型正越来越多地被用于模拟和探究人类行为，例如开展问卷调查。对于这类应用，一个关键特性是输出需满足分布对齐：即其输出分布应与某一参考（在本例中为人类）分布相一致。实现分布对齐的一个障碍在于如何从小规模训练数据中进行泛化。本文研究了：(1) 如何使大型语言模型实现分布对齐；以及 (2) 实现分布对齐的大型语言模型在面对未见样本以及不相关主题与任务时的泛化能力。通过两个大规模基准测试，我们发现大型语言模型确实能够实现分布对齐，并且能够在同一领域的未见问题上实现泛化。而跨主题的泛化则取决于各主题之间的关联性（例如…
arXiv：2610.31911v1 发布类型：新 摘要：随着大型语言模型（LLMs）处理的序列长度不断增长，注意力机制已成为主要的计算瓶颈。稀疏注意力大多面向推理阶段，但许多方法在训练时仍采用密集模式，或无法支持稀疏训练；此外，这些方法额外增加的复杂性使得稀疏性难以转化为实际的运行时间加速，因此在实践中密集注意力仍然被广泛使用。本文提出了 LazyFlash，一种前向密集、后向稀疏的注意力机制，其核心基于这样一个观察：注意力机制的训练过程主要由反向传播阶段主导。LazyFlash 使前向传播保持完全密集，因此训练得到的模型仍然是标准的密集模型，现有系统（如 vLLM）无需任何修改即可直接服务。对于反向传播阶段，LazyFlash 提出了一种梯度-a
IBM Research推出开源的Granite Timeseries Ensemble（v1），集成PatchTST-FM-r1/r2、FlowState与Tiny Time Mixers四类预训练架构，支持零微调下的概率性集成预测；默认采用等权概率池化（Probabilistic Ensemble），亦提供基于四分位距自适应加权（IQR Ensemble）；在GIFT-Eval基准（截至2026-10-20快照）上，其点预测误差（MASE=0.683）略优于最佳单模型，整体鲁棒性显著提升。
