检索标题、摘要与正文，把分散的信息连起来。
arXiv：2610.36668v1 发布类型：新 摘要：阿希服从实验近来作为衡量大型语言模型（LLMs）中从众行为的一种手段而备受关注。尽管先前的研究主要致力于证明大型语言模型中的从众现象，但我们的工作在此基础上进一步引入了定量分析维度。我们并未针对一系列问题对前沿大型语言模型进行抽样，而是通过反复采样同一个问题，利用大型语言模型的概率特性生成答案分布。由此，我们可以比较模型在被呈现人为制造的共识前后答案分布的变化。实验结果证实，前沿大型语言模型确实存在从众现象，这与先前文献的结论相一致；同时，借助我们提出的分布间对比方法，还提供了更多……
arXiv：2610.34907v1 发布类型：新 摘要：在NVIDIA Hopper架构中推出的张量内存加速器（TMA），已在生产环境中的GPU内核中得到广泛应用，但其使用却表现出明显的选择性：CUTLASS、FlashAttention-3和FlashInfer等领域的资深内核开发者仅对内核中的部分张量操作数采用TMA，而对其余操作数则退回到cp.async、直接全局加载或分布式共享内存（DSM）等方式。厂商文档虽已说明了该API，近期的微基准测试也单独刻画了TMA的吞吐性能，但这些研究均未能解答从业者实际面临的疑问：在内核中遇到某个内存操作数时，究竟是否应使用TMA？若使用，又该搭配还是不搭配集群多播？我们通过一项基于工作负载的实证研究，在H100平台上填补了这一空白。我们系统地梳理了TMA、多
arXiv：2610.32104v1 发布类型：新 摘要：为刻画Transformer架构的能力与局限性，人们已发展出若干形式化理论，这些理论分别采用不同的抽象方法，以捕捉该架构的不同特性。由于其底层假设与概念框架存在差异，这些理论在预测Transformer对哪些任务感到容易或困难时往往意见不一。我们梳理了七种关于Transformer能力的理论（Star-free、$\mathsf{AC}^0$、$\mathsf{TC}^0$、C-RASP、MPC、BAPO以及敏感性），并将其研究结果转化为一张通用的预测矩阵，覆盖一系列涉及不同计算结构的任务。我们还提供了新的理论成果，以完善这一矩阵。随后，我们对这些理论进行评估
arXiv：2610.31765v1 发布类型：新 摘要：从单个参考视频生成动态场景的多段视频，需要在不同视角之间一致地合成已观测与未观测的内容。现有的用于视频扩散的相机控制方法通常依赖于一些架构机制，包括相机嵌入、跨视图注意力以及几何条件化等。尽管这些方法对静态场景内容较为有效，但在处理必须在各视角及随时间保持一致的细粒度动态几何时，往往面临困难。我们通过在源自源视频的规范3D空间中采样高斯噪声先验，并将其光栅化至目标相机，从而同步扩散过程本身，而非在每个2D图像平面中独立采样。我们的 m
arXiv：2610.32057v1 发布类型：新 摘要：我们提出了 HyScale，一种用于学习型稀疏注意力的长上下文训练系统。学习型稀疏注意力是一种在百万级token上下文中颇具前景的架构，自 DeepSeek-V3.2 以来已在生产环境中得到广泛应用。然而，选择过程逐渐成为训练中的性能瓶颈。对于每个查询，它需要对每一个先前的token进行打分，而稀疏注意力仅读取$k$个；更糟糕的是，现有系统会显式构建完整的打分表，并在重计算时重复执行选择操作。我们的关键洞察在于：选择过程的输出并非激活值，而是一组索引。基于这一发现，HyScale 引入了 HyTopK 和选择重放机制。HyTopK 能够在无需打分表的情况下，实时为每个查询找到精确的前$k$个索引；而选择重放则在重计算过程中复用前向传播阶段的选择结果。
arXiv：2610.31911v1 发布类型：新 摘要：随着大型语言模型（LLMs）处理的序列长度不断增长，注意力机制已成为主要的计算瓶颈。稀疏注意力大多面向推理阶段，但许多方法在训练时仍采用密集模式，或无法支持稀疏训练；此外，这些方法额外增加的复杂性使得稀疏性难以转化为实际的运行时间加速，因此在实践中密集注意力仍然被广泛使用。本文提出了 LazyFlash，一种前向密集、后向稀疏的注意力机制，其核心基于这样一个观察：注意力机制的训练过程主要由反向传播阶段主导。LazyFlash 使前向传播保持完全密集，因此训练得到的模型仍然是标准的密集模型，现有系统（如 vLLM）无需任何修改即可直接服务。对于反向传播阶段，LazyFlash 提出了一种梯度-a
arXiv：2610.30296v1 发布类型：新 摘要：大型语言模型（LLMs）加速了针对低资源和多语言自然语言处理的研究，但其在构建公平研究环境方面的有效性仍未得到充分评估。我们分析了2020年至2025年间发表的1,158篇同行评议的开放获取论文，考察了研究界对低资源语言（LRLs）的关注程度以及在不同语言和语种群体中的代表性。为超越单纯出版数量来评估语言包容性，我们提出了语言包容性框架（LIF），这是一个多维度框架，从四个维度衡量语言包容性：研究增长、代表性扩展、代表性延续以及分布公平性。尽管年度论文发表量从52篇增至415篇，增幅达5.4倍，但在ACL文集中……
