检索标题、摘要与正文，把分散的信息连起来。
arXiv:2610.37881v1 发布类型：新 摘要：深度伪造检测模型虽然整体准确率较高，但在不同人口统计群体之间却表现出显著的性能差异，导致某些群体的假阳性率远高于其他群体。现有的公平性感知方法通过约束模型输出以实现各群体预测的一致性来应对这一问题，但并未解决潜在的特征层面偏见。因此，这些模型仍可能依赖于诸如皮肤纹理等人口统计学特征，将其作为检测被篡改内容的间接线索。为了解决这一问题，我们提出了交集不变学习（IIL），这是一种不仅调整模型输出，而是改进特征学习的框架。IIL通过在识别最具挑战性的群体划分之间交替进行……
arXiv:2610.37680v1 发布类型：新 摘要：缩小前沿模型与小型语言模型之间的差距，通常采用知识蒸馏的方法：在前沿模型（教师）的输出上对小型模型（学生）进行微调，但这使得迁移过程高度依赖于训练计算，且被迁移的知识往往难以解释。我们提出了一种名为“Artifact Distillation”的方法：由教师模型解答训练实例，并将其解题过程外化为一个“工件库”，学生在推理时直接查询该库，无需进行梯度更新。在四项 LiveBench 任务上，由 Claude Opus 4.5 构建的工件库使 Claude Haiku 4.5 在空间推理任务上的表现（0.707 对比 0.647）达到其自身成本的 60% 时，便超过了未借助外部辅助的 Claude Sonnet 4.5；而在表格连接任务上，该工件库仅需达到 Sonnet 4.5 成本的 89% 即可达到同等水平。同样的原始工件库还提升了
arXiv：2610.36353v1 发布类型：新 摘要：大型语言模型（LLMs）常常将含糊的输入视为具有单一明确含义而予以回答。这存在一个问题，因为输入的歧义本身就是一种上游的不确定性来源：当一个提示可能存在多种有效解释时，关键问题在于模型是否应当直接作出回应。现有的输入不确定性处理方法往往依赖于由大型语言模型生成的陈述或澄清，但这类转换可能在衡量歧义之前就已经对输入进行了消歧。我们提出了一种用于检测输入歧义的标签保持扰动框架，该框架使扰动尽可能贴近原始输入，同时保留其标签。我们基于这一原则实现了两种检测器：一种是基于规则的黑盒扰动库
arXiv：2610.32101v1 发布类型：新 摘要：大型语言模型（LLMs）会表现出模式坍缩现象，即其输出分布集中于熟悉的语义模式。当多样性消失时，反复采样便沦为语义上的重复，而非新的发现，导致那些罕见但更优的解决方案难以浮现，从而使模型的自我进化与持续学习难以维持。大多数应对措施仅在推理阶段发挥作用，通过调整采样结果来实现多样性，却并未将多样性真正内化为模型的一项能力。我们提出了 PRISM，一种在训练阶段就将多样性内化的框架。PRISM 结合了：(i) 子模性策展机制，为每个提示配以多样且正确的多教师解；以及 (ii) 随机嵌入调制，将特殊标记的扰动转化为 impl
arXiv:2610.33012v1 发布类型：新 摘要：具备工具调用能力的大型语言模型（LLM）智能体，在从相同初始状态出发的多次独立运行中，表现出行为不一致的现象，例如调用不同的工具、产生相互矛盾的输出，或采取截然不同的策略。这种行为上的波动会随时间累积，从而削弱部署的可靠性。现有的评估指标主要通过基于任务完成度的得分来衡量正确性，而未能捕捉智能体在多次执行中的行为一致性。此外，对智能体行为的分析要么停留在词元层面，借助概率分布进行评估；要么聚焦于单次响应层面，采用语义聚类方法，但两者均无法刻画不一致性如何在轨迹的后续步骤中进一步传播。我们提出了递归语义发散（RSD），一种无
arXiv:2610.33442v1 发布类型：新 文摘：据报道，大型语言模型（LLMs）容易出现包括幻觉和推理错误在内的可靠性问题。现有的质量检测器能够基于内部表征以相当高的准确率预测不可靠的输出。然而，这些检测器的训练通常需要大量特定领域的标注数据，这限制了它们在新领域的适用性。我们提出通过在相关领域之间迁移表征签名来应对这一挑战。具体而言，我们构建了一个统计框架，首先为每个领域提取低维表征签名，然后利用交叉拟合学习各领域特定预测器的组合权重。这些权重会根据源领域各自的预测相关性进行自适应调整。
arXiv：2610.32305v1 发布类型：新 摘要：多阶段分析任务要求大型语言模型（LLM）代理利用中间证据来决定是继续、重定向还是停止。自我反思——即代理对其输出进行批判性评估——已得到广泛研究，然而，这种批判性评估并不能说明证据是否确实影响了下一步行动。我们将这一能力称为“自我约束”。现有的代理基准测试大多仅衡量任务完成度或输出质量，而未对这一能力进行检验。DMAIC-Bench 通过围绕精益六西格玛明确的统计前提条件构建的、涵盖四个行业领域中15个工业场景的97个种子任务，对此进行了评估。成对的反事实变体在相同的工作流位置上要求采取相反的动作，从而能够区分有依据的自我约束与无差别的随意停止。我们采用……对执行轨迹进行评估。
arXiv：2610.33062v1 发布类型：新 摘要：统一的大型多模态模型（ULMMs）能够通过交错进行的文本-图像生成来执行视觉推理，但生成显式的中间图像会带来显著的计算开销。尽管视觉潜在推理可以解决这一问题，但现有方法大多依赖于无法进行视觉生成的视觉-语言模型（VLMs）。我们提出了一种名为Oddin的新框架，能够在ULMMs中实现潜在的视觉推理。Oddin用紧凑的潜在标记取代中间图像，这些标记完全由理解分支处理，而生成分支则专门用于生成最终输出图像。我们通过离线自蒸馏训练该模型，包含三项优化目标：最终图像生成损失、文本蒸馏损失以及交叉熵损失，用于
arXiv:2610.31946v1 发布类型：新 摘要：三名学生亲手回答了同一道考试题目：“什么是幸福？你幸福吗？”他们在收集时的年龄分别为17岁、28岁和45岁。其中，17岁的学生的答案措辞谨慎、表达正式。在要求将每份答案匹配到特定年龄与性别标签的任务中，大多数前沿语言模型都自信地将其归为成年人。本文报告了一项针对这一失败现象的结构化案例研究，涉及六种模型：Claude Fable 5、Gemini 3.1 Pro、GPT-5.6 Sol、Grok 4.5、GPT-4o（2024）以及 DeepSeek V4。我们共进行了1,081次API调用，在六个实验条件下对3,225条回复进行了评分，这些条件分别调整了表述方式、披露格式以及受众意识相关指令。在匹配任务中，六种模型中有三种的表现接近或处于随机水平（1/3），同时报告的准确率却高达73%至88%。
arXiv:2610.31966v1 发布类型：新 摘要：上下文学习的示范通常通过语义相似度进行检索，而这在结构化预测任务中可能并非相关性的良好替代指标。我们研究了面向通用依存句法分析的示范选择方法，采用一种基于词性签名的策略，该策略以加权词性统计特征表示句子，并从已标注的训练集里检索出三个长度兼容、由人工标注的示例。我们在UD英语网络树库测试集的全部2,077个句子上，对两种未经过微调的开放权重语言模型进行了评估，将该策略与按样本数量和格式匹配的固定三元组及语义三元组基线，以及零样本、链式思维和批判性修正等系统进行了比较。结果表明，基于词性签名的检索方式获得了最高的标注准确率
arXiv：2610.32057v1 发布类型：新 摘要：我们提出了 HyScale，一种用于学习型稀疏注意力的长上下文训练系统。学习型稀疏注意力是一种在百万级token上下文中颇具前景的架构，自 DeepSeek-V3.2 以来已在生产环境中得到广泛应用。然而，选择过程逐渐成为训练中的性能瓶颈。对于每个查询，它需要对每一个先前的token进行打分，而稀疏注意力仅读取$k$个；更糟糕的是，现有系统会显式构建完整的打分表，并在重计算时重复执行选择操作。我们的关键洞察在于：选择过程的输出并非激活值，而是一组索引。基于这一发现，HyScale 引入了 HyTopK 和选择重放机制。HyTopK 能够在无需打分表的情况下，实时为每个查询找到精确的前$k$个索引；而选择重放则在重计算过程中复用前向传播阶段的选择结果。
arXiv：2610.31819v1 发布类型：新 摘要：推测解码是一种通过从速度更快、质量较低的草稿模型中采样，从而提升自回归大型语言模型（LLMs）推理速度的技术。传统上，推测解码的一个基本特征是相对于验证器分布而言无损，能够在不牺牲质量的前提下实现速度提升。这与近期发展的扩散型大型语言模型（dLLMs）有所不同；后者通过以更少的扩散努力降低输出质量，从而显著提升推理速度。由于扩散模型能够通过并行生成标记来实现比自回归模型更快的采样，因此它们被视为推测扩散中理想的草稿模型候选者。尽管如此，它在广泛……
arXiv:2610.31687v1 发布类型：新 提要：大型语言模型正越来越多地被用于模拟和探究人类行为，例如开展问卷调查。对于这类应用，一个关键特性是输出需满足分布对齐：即其输出分布应与某一参考（在本例中为人类）分布相一致。实现分布对齐的一个障碍在于如何从小规模训练数据中进行泛化。本文研究了：(1) 如何使大型语言模型实现分布对齐；以及 (2) 实现分布对齐的大型语言模型在面对未见样本以及不相关主题与任务时的泛化能力。通过两个大规模基准测试，我们发现大型语言模型确实能够实现分布对齐，并且能够在同一领域的未见问题上实现泛化。而跨主题的泛化则取决于各主题之间的关联性（例如…
arXiv:2610.31810v1 发布类型：新 基本摘要：即使经过仔细校对的论文，其证明或所作假设中也可能存在细微漏洞。我们提出了 PaperFormalizer，一个基于 Lean 的智能体驱动流水线，帮助作者发现并弥补自身论文中的此类漏洞，并将每篇论文转化为经 Lean 验证的版本。PaperFormalizer 从 LaTeX 源文件入手，将其转换为陈述的依赖关系图，逐条审核自然语言表述的忠实性、歧义性和正确性，随后在 Lean 中对这些陈述进行形式化并加以证明，同时参考 Mathlib、可选的领域库以及作者个人的工具包。只有作者最清楚某条陈述的真实意图，以及如何最佳地填补某一结论中的形式化缺口。因此，该流水线会在必要时暂停，并向作者提出相关问题。
arXiv：2610.31911v1 发布类型：新 摘要：随着大型语言模型（LLMs）处理的序列长度不断增长，注意力机制已成为主要的计算瓶颈。稀疏注意力大多面向推理阶段，但许多方法在训练时仍采用密集模式，或无法支持稀疏训练；此外，这些方法额外增加的复杂性使得稀疏性难以转化为实际的运行时间加速，因此在实践中密集注意力仍然被广泛使用。本文提出了 LazyFlash，一种前向密集、后向稀疏的注意力机制，其核心基于这样一个观察：注意力机制的训练过程主要由反向传播阶段主导。LazyFlash 使前向传播保持完全密集，因此训练得到的模型仍然是标准的密集模型，现有系统（如 vLLM）无需任何修改即可直接服务。对于反向传播阶段，LazyFlash 提出了一种梯度-a
