检索标题、摘要与正文，把分散的信息连起来。
arXiv：2610.31911v1 发布类型：新 摘要：随着大型语言模型（LLMs）处理的序列长度不断增长，注意力机制已成为主要的计算瓶颈。稀疏注意力大多面向推理阶段，但许多方法在训练时仍采用密集模式，或无法支持稀疏训练；此外，这些方法额外增加的复杂性使得稀疏性难以转化为实际的运行时间加速，因此在实践中密集注意力仍然被广泛使用。本文提出了 LazyFlash，一种前向密集、后向稀疏的注意力机制，其核心基于这样一个观察：注意力机制的训练过程主要由反向传播阶段主导。LazyFlash 使前向传播保持完全密集，因此训练得到的模型仍然是标准的密集模型，现有系统（如 vLLM）无需任何修改即可直接服务。对于反向传播阶段，LazyFlash 提出了一种梯度-a
arXiv于2026年10月24日发布论文arXiv:2610.30154v1，提出新型循环神经网络单元baseVultra。该模型通过将密集循环计算集中于单一H×H候选生成矩阵、以O(H)对角交互替代传统门控矩阵，在TinyShakespeare等紧凑设置中验证了其有效性：在200K参数单层配置下验证损失达1.594，优于同参数LSTM（1.604）和GRU（1.616），且密集计算开销仅为GRU的约54%。
推荐理由：该研究代表循环神经网络架构设计的新探索方向——从门控主导转向候选生成主导；实验覆盖字符级语言建模（TinyShakespeare、text8）与形式语言探针（Counter任务），结果明确显示其优势集中在隐藏状态容量受限的紧凑场景（如H=16），具有清晰的技术定位与实证支撑。
一项发表于2026年10月24日arXiv的实证研究（论文编号2610.31135v1）比较了Transformer、状态空间模型（state-space）及混合Mamba架构在长上下文问答任务中的位置偏置现象，发现Transformer模型普遍表现出对起始位置证据的利用优势，而状态空间模型缺乏该特性；两类模型却均偏好结尾位置证据。
推荐理由：该研究基于可控实验设计（固定9个干扰文档、滑动单个黄金文档），首次在统一评估框架下横向对比三类主流序列建模架构的位置敏感性，揭示了模型能力与架构类型、提示工程、任务性质的强耦合关系，对长上下文AI系统的设计与调试具有直接参考价值。
