保留完整资讯流，用来源、主题和时间找到你关心的消息。
arXiv:2610.31827v1 发布类型：新 摘要：针对智能体驱动、编码及文档工作负载的长上下文大语言模型服务，会重复使用那些键值（KV）缓存超出GPU和主机内存容量的前缀，从而导致在推理阶段为获取这些前缀而产生存储I/O，使其成为关键路径。单个节点本地的NVMe设备承担了所有检索任务，而各节点已挂载的并行文件系统或云文件存储几乎不承载任何推理流量。我们将前缀检索视为跨这些层级的聚合带宽调度问题，并提出了KVStream——一种KV缓存引擎，它将某一步骤的读取操作进行批处理，在前向传播之后延迟写入，在每一层级上复制每个数据块，并允许每个层级在空闲时自适应地获取下一个未读取的数据块。我们的性能模型表明，这种路由方式能够实现聚合
arXiv:2610.32109v1 发布类型：新 摘要：语言模型能够根据给定的文档或其参数化知识回答问题。然而，当后续被问及答案的来源时，究竟是什么决定了它们的来源报告？我们通过在答案生成之后、源问题提出之前对模型的关键值（KV）缓存进行干预来研究这一问题。在一项受控的事实性任务中，针对四款模型（7B–32B），无论改变还是移除文档的缓存，都不会影响其来源报告。相比之下，在两次运行之间移植问答（Q+A）缓存——且前后的问题与答案标记完全相同——则会转移来源报告：所有符合条件的报告都会沿用捐赠方的来源，而接收方的文档本身保持不变。在两款较小的模型上，沿着事先为任何源问题拟合的方向引导问答值……
arXiv：2610.32237v1 发布类型：新 摘要：在现代金融市场中，超过四分之三的大宗交易均由基于先进交易策略的算法交易执行，其精度与速度均优于传统的人工交易。然而，以价格指标为核心的传统策略难以捕捉由社会情绪、政治不稳定或突发经济变化等现实事件所引发的市场动态。随着深度强化学习（DRL）的兴起及数据获取的日益便捷，亟需更高效的算法，以便将这些外部因素纳入交易策略之中。深度强化学习在模拟现实场景以及简化复杂决策方面展现出巨大潜力，因为DRL智能体能够自动
arXiv：2610.31986v1 发布类型：新 提要：视觉语言模型（VLMs）正越来越多地被应用于消费级智能家居摄像头系统，用于解析录制的视频并提供洞察。然而，从智能家居摄像头捕获的视频片段与现有 VLM 基准测试中占主导地位的精选网络视频存在显著差异。智能家居视频片段通常不包含字幕或旁白，并且拍摄角度各异、光照条件多变、场景也十分多样。然而，在视觉信号稀疏且上下文有限的情况下，现有 VLM 基准测试尚未充分评估模型在这一领域的性能。为弥补这一不足，我们提出了 OpenHome，一个仅基于视觉、采用四选项选择题形式的基准测试，用于评估对智能家居视频的理解能力。I
arXiv:2610.31728v1 发布类型：新 摘要：Muon 已成为大型语言模型训练中广受欢迎的优化器，但其理论基础仍缺乏深入理解。在本研究中，我们探讨了梯度噪声的几何结构如何影响 Muon 的预条件化优势。我们首先从理论与实验两方面证明，在经典的各向同性噪声假设下，Muon 仅能通过重新缩放学习率而带来加速效果，无法进一步提升性能。这一发现促使我们进一步考察由异构任务频率下的关联记忆中的小批量采样所引起的结构化噪声。我们为两类任务确定了一个精确的平衡阈值，并将分析扩展至多任务场景，揭示了任务覆盖率与梯度可靠性如何共同塑造学习过程。我们的分析表明，Muon 能够缓解……
arXiv：2610.31894v1 发布类型：新 摘要：近期的稀疏自编码器（SAE）能够将大型语言模型（LLM）的表示分解为可解释的特征，从而实现对编码知识的精确读取与控制。然而，现有的SAE将每个特征视为独立单元，而现实世界中的知识往往具有层级化的分类结构。因此，这种读取方式无法保证分类学上的一致性，控制也缺乏足够的粒度来明确指定编辑的范围。我们提出了TaxoSAE，该方法在SAE的特征空间中显式地编码了分类学信息，基于“is-a”（超类—子类）关系构建。TaxoSAE通过堆叠一系列SAE来模拟一个分类体系，每一层对应一个分类层级，并引入了一种分类对齐损失，使每个概念在被激活时都能准确对应其所属的分类层级。
arXiv:2610.32711v1 发布类型：新 摘要：数据分析与大语言模型工作负载对内存的需求正迅速增长，推高了云环境和数据中心的内存成本。多级内存已成为一种颇具前景的解决方案，可在性能与成本之间实现平衡。然而，要有效利用多级内存，必须深入理解工作负载的内存访问行为。本文提出了一种高分辨率的内存特性分析方法，用于评估针对特定工作负载的多级内存使用机会。鉴于基于ARM的处理器在数据中心中的部署日益增多，我们采用ARM最新的统计剖析扩展（SPE）来实现这一方法。通过对CloudSuite和大语言模型应用中的八个内存密集型工作负载进行特性分析，我们识别出了具有区域特异性的访问模式
arXiv：2610.32057v1 发布类型：新 摘要：我们提出了 HyScale，一种用于学习型稀疏注意力的长上下文训练系统。学习型稀疏注意力是一种在百万级token上下文中颇具前景的架构，自 DeepSeek-V3.2 以来已在生产环境中得到广泛应用。然而，选择过程逐渐成为训练中的性能瓶颈。对于每个查询，它需要对每一个先前的token进行打分，而稀疏注意力仅读取$k$个；更糟糕的是，现有系统会显式构建完整的打分表，并在重计算时重复执行选择操作。我们的关键洞察在于：选择过程的输出并非激活值，而是一组索引。基于这一发现，HyScale 引入了 HyTopK 和选择重放机制。HyTopK 能够在无需打分表的情况下，实时为每个查询找到精确的前$k$个索引；而选择重放则在重计算过程中复用前向传播阶段的选择结果。
arXiv:2610.31985v1 发布类型：新 提要：大型语言模型（LLM）代理正越来越多地被部署于协作场景中，在这些场景下，它们各自执行独立任务，同时共享资源，并在审查或监督机制下运行。此类环境不仅在代理具有恶意时会带来安全风险，即便它们只是出于善意提供帮助，也同样存在风险。以往的研究大多聚焦于对抗性行为或明确的共谋行为；而我们指出，那些追求独立目标的良性代理也可能自发地以某种方式展开合作，从而绕过原本设计的工作流程。我们将这一现象称为“有益代理问题”。我们研究了一类长期的共享资源环境，在这种环境中，代理有时需要依赖其同伴所拥有的资源，且所有权变更通常需经由审查者进行中介。当审查机制失效时，代理
arXiv:2610.32389v1 发布类型：新 摘要：在大型语言模型的强化学习（RL）中，从滚动阶段到训练阶段的轨迹迁移既会影响学习质量，也会降低系统效率。强制执行全批训练要求可能会延迟已完成轨迹的准入，从而导致更高的架构陈旧性——即与集中式执行相比，采用分散式流水线所带来的额外参数版本差距。除了准入问题之外，数据访问与训练消耗之间的错配还会在传输大型轨迹负载时引发冗余移动和不必要的等待。我们提出了 KnitTrans 系统，通过三项设计来协调滚动到训练的路径。首先，基于约束保持的迷你批次准入机制能够在早期迷你批次组合方面提供灵活性……
arXiv:2610.32046v1 发布类型：新 摘要：近期的“测试时训练”（TTT）框架使开放权重的大规模语言模型（LLMs）在科学发现任务上超越了由前沿模型驱动的仅推理框架。然而，TTT 在发现过程中引入了额外的在线权重更新计算开销，这使得在扩展至更大规模模型时，计算效率成为一项重要考量。因此，我们致力于探索一种用于科学发现的高效“测试时适应”方法。我们提出了一种即插即用的测试时适应方法——“测试时记忆演化”（TTME），作为 TTT 的替代方案。TTME 通过提炼经验不断更新外部记忆，从而指导后续的发现过程，而无需进行权重更新。
arXiv：2610.32045v1 发布类型：新 摘要：面向科学的人工智能代理正越来越多地被用于提出科学假设、开展自主实验以及解读证据。这些代理通过将大型语言模型（LLM）集成到特定领域的代理框架中构建而成，而该框架又能提升LLM的科学能力，并使其能够协调运用各类科学工具。在本研究中，我们探讨了当大型语言模型被整合进面向科学的人工智能代理框架时，模型的安全性是否仍能得到有效保障。我们针对50个有害的化学相关请求，对五种代理框架进行了评估。具体而言，我们考察了在直接提示、两种简单的对抗性提示策略以及一种自适应攻击情境下，模型的安全行为如何发生变化。基于四种近期发布的GPT变体，我们的研究结果表明
arXiv：2610.32229v1 发布类型：新 摘要：在低于8位的算术运算下训练大型语言模型（LLMs）有望显著提升内存带宽和计算吞吐量，然而FP4格式引入的量化误差若不加以处理，将严重扰乱优化过程。我们提出ALTO，这是一种开源的训练方案，用于在MLPerf小型MoE训练基准测试中，以MXFP4微缩尺度格式训练GPT-OSS-20B——一款拥有200亿参数的专家混合模型（MoE）。该方案融合了Abecassis、Felix等人[arXiv:2509.25149]提出的成熟技术（混合1D/2D块量化、随机化哈达玛变换以及随机舍入），并结合了一种基于TetraJet-v2[arXiv:2510.27527]改进的简化权重去振荡机制。在C4验证集上，采用全局批量大小
arXiv：2610.31808v1 发布类型：新 摘要：居高临下的语言（PCL）是一种有害的语言形式，它贬低并以怜悯的态度对待弱势群体，从而强化了社会中的负面刻板印象。然而，与公开的仇恨言论不同，这种语言往往难以被识别，即便是人类裁判也常常感到棘手。本文提出了一套用于自动检测PCL的系统。我们的第一种方法采用静态词嵌入和卷积神经网络进行分类，而第二种方法则使用针对PCL任务微调过的预训练BERT嵌入。第二种方法的表现显著更优，在开发集上的F1分数达到了0.528。
一篇于2026年10月26日发布在arXiv（编号2610.31681v1）的论文指出，传统结构化生成将输入到输出视为确定性单映射，与自然语言固有的多重语义有效性相冲突；作者将其重构为“模糊感知推理问题”，通过构建图表示的候选结构空间并开展图基推理，在保留语义模糊性的前提下提升输出稳定性与鲁棒性。
推荐理由：该研究直击结构化生成中长期被忽视的歧义建模缺陷，提出可验证的技术路径（多有效学习+图结构候选空间+语义对齐与关系一致性推理），并在标准基准上报告了准确性、稳定性和鲁棒性的系统性提升，具有方法论创新性与实践指导价值。
arXiv：2610.31846v1 发布类型：新 摘要：智能体应当从自身错误中学习，从而使经验带来持续改进。然而，当前的智能体仅能暂时从错误中恢复：上下文中的反思很容易在不同会话间被遗忘，并且会与有限的上下文资源产生竞争；而全参数微调则成本高昂，还可能干扰已有能力。我们提出了一种名为“自我引导”的机制，使智能体能够从错误中学习，兼具临时性上下文重试与策略更新的优势。当智能体执行任务失败时，它会回顾自身的行动轨迹，从中提炼出经验教训，并立即将其转化为一个轻量级的低秩适配器。通过冻结原始权重，自我引导机制有效避免了适配器训练对原有模型的过度覆盖……
arXiv：2610.32128v1 发布类型：新 摘要：当与决策相关的证据深埋于冗长且嘈杂的上下文之中时，RAG 以及检索增强型少样本指令微调（ICL）往往难以应对。检索得到的段落和示例可能包含冗余或干扰性信息。尽管由专家标注的开发示例能够识别出支持每项决策的文本，但这些标注通常仅被用作答案侧的理由，而非用于过滤噪声检索的监督信号。我们提出了一种“银色证据”示例方法，即在 ICL 示例中，用生成的、针对目标条件的证据摘要替代原始检索到的段落。对于每个已标注的开发示例，大型语言模型会在无法访问专家标签或黄金证据的情况下生成“银色证据”；随后，这些“银色证据”将与专家标签配对使用。
2026年10月26日，arXiv发布预印本论文（编号2610.31685v1），提出一种基于冻结大模型的可追溯多模态情绪推理智能体架构，通过模态专用感知智能体、集成智能体、MLLM批评者及证据验证阶段实现错误归因与提示空间自适应优化，在MER2025数据集上提升多个开源多模态大模型（2B–38B参数）的情绪识别F-score达0.6–2.2分。
推荐理由：该研究针对当前多模态情绪推理系统在指令微调成本高与智能体流水线不可调试之间的矛盾，提出首个融合证据引用、确定性验证、失败归因与靶向提示修补的全流程可解释框架；所有改进均不修改模型权重，且在四个不同规模开源MLLM上实证有效，具备方法论创新性与工程实用性。
arXiv：2610.31937v1 发布类型：新 摘要：现代大型语言模型（LLMs）仍然容易受到精心设计的多轮交互攻击，这些攻击能够逐步绕过安全机制。然而，许多现有的红队测试方法依赖于启发式规则或施加了严格的假设，这限制了它们在完全黑盒环境中的适用性。我们通过提出 $M^3$ 来弥补这一不足，这是一种自动化的红队测试框架，它将多轮越狱行为形式化为一个有限 horizon 的马尔可夫决策过程（MDP）。在 $M^3$ 中，攻击者语言模型与目标语言模型进行交互，并基于由状态语言模型生成的紧凑内部状态开展操作。在两个基准测试和六个目标模型上，$M^3$ 在攻击成功率（ASR）方面始终优于最先进的多轮红队测试方法，一个
arXiv：2610.31819v1 发布类型：新 摘要：推测解码是一种通过从速度更快、质量较低的草稿模型中采样，从而提升自回归大型语言模型（LLMs）推理速度的技术。传统上，推测解码的一个基本特征是相对于验证器分布而言无损，能够在不牺牲质量的前提下实现速度提升。这与近期发展的扩散型大型语言模型（dLLMs）有所不同；后者通过以更少的扩散努力降低输出质量，从而显著提升推理速度。由于扩散模型能够通过并行生成标记来实现比自回归模型更快的采样，因此它们被视为推测扩散中理想的草稿模型候选者。尽管如此，它在广泛……
