检索标题、摘要与正文，把分散的信息连起来。
arXiv:2610.38355v1 发布类型：新摘要：KV缓存复用能够加速大语言模型的推理，但现有系统将主机DRAM和NVMe SSD视为分层结构，其中DRAM充当中间缓存。然而，实际的大语言模型工作负载打破了这一分层结构的两个前提。首先，双模态复用使DRAM的时间过滤失效，因为工作负载要么由具有较长复用距离的一次性块主导，要么由超过DRAM容量的数GB级智能体会话主导，从而将SSD置于关键的读取路径上。其次，DRAM的暂存与按驱逐顺序布局导致SSD恢复出现瓶颈。为在途前缀保留主机暂存缓冲区会在负载下引发争用，进而中止预取操作；而增量式驱逐则会将会话的块分散到整个SSD上，阻碍大规模顺序读取。我们 p
arXiv:2610.31918v1 发布类型：新 摘要：对交互式大型语言模型代理进行蒸馏时，需要在教师生成的示范与学生生成的经验之间做出选择，这大致对应于离策略蒸馏与在策略蒸馏。尽管两者都被证明是有效的，但我们认为这种区分本质上具有层次性：引发交互历史的策略未必与生成当前动作的标记前缀的策略相同。我们提出了一种分层代理蒸馏框架，将这两种层次的在策略性加以形式化，并允许对其配对方式、混合比例以及训练计划进行显式控制。我们通过自蒸馏来研究这一问题，在自蒸馏中，冻结的教师能够获得学生无法获取的任务指导，而
arXiv：2610.32057v1 发布类型：新 摘要：我们提出了 HyScale，一种用于学习型稀疏注意力的长上下文训练系统。学习型稀疏注意力是一种在百万级token上下文中颇具前景的架构，自 DeepSeek-V3.2 以来已在生产环境中得到广泛应用。然而，选择过程逐渐成为训练中的性能瓶颈。对于每个查询，它需要对每一个先前的token进行打分，而稀疏注意力仅读取$k$个；更糟糕的是，现有系统会显式构建完整的打分表，并在重计算时重复执行选择操作。我们的关键洞察在于：选择过程的输出并非激活值，而是一组索引。基于这一发现，HyScale 引入了 HyTopK 和选择重放机制。HyTopK 能够在无需打分表的情况下，实时为每个查询找到精确的前$k$个索引；而选择重放则在重计算过程中复用前向传播阶段的选择结果。
arXiv:2610.31985v1 发布类型：新 提要：大型语言模型（LLM）代理正越来越多地被部署于协作场景中，在这些场景下，它们各自执行独立任务，同时共享资源，并在审查或监督机制下运行。此类环境不仅在代理具有恶意时会带来安全风险，即便它们只是出于善意提供帮助，也同样存在风险。以往的研究大多聚焦于对抗性行为或明确的共谋行为；而我们指出，那些追求独立目标的良性代理也可能自发地以某种方式展开合作，从而绕过原本设计的工作流程。我们将这一现象称为“有益代理问题”。我们研究了一类长期的共享资源环境，在这种环境中，代理有时需要依赖其同伴所拥有的资源，且所有权变更通常需经由审查者进行中介。当审查机制失效时，代理
arXiv:2610.32087v1 发布类型：新 摘要：理解语言—智能体的行为，需要探究行动如何在时间轨迹中被组织，以及这种组织与情境和结果之间的关联。我们提出了一种通用框架，将数据驱动的行为发现与分析及实验研究相衔接。从记录的活动提炼出的类别界定了测量的内容；分析保留了行为在流程中的位置，并将其关系表述为可解释的假设；在预留的场景中进行的统计评估与检验，则用于考察证据的强度与适用范围；随后，通过包括提示引导在内的实验，测试在人为改变的条件下行为与结果的变化情况。一项关于迭代式自我反思的研究说明了如何
