序列学习循环——第960期:上周的人工智能基础设施动态
DeepSeek、Google和NVIDIA构建智能体技术栈
检索标题、摘要与正文,把分散的信息连起来。
DeepSeek、Google和NVIDIA构建智能体技术栈
arXiv:2610.31971v1 发布类型:新 摘要:大型语言模型(LLM)代理越来越多地代表个人和组织参与谈判,但它们仍然容易受到操纵,尤其是在反复进行的多方互动中。传统的多智能体系统通过显式的信任与声誉模型来应对这一挑战,而现有的LLM谈判研究则大多将信任视为一种涌现现象。我们探究LLM代理能否从以往的交互中形成有用的信任评估,并利用这些评估来改善未来的谈判结果。我们提出了一种重复的、多方的、多议题的谈判框架,在该框架中,循环参与的代理在一系列谈判博弈中展开互动,同时有一名参与者暗中试图阻止达成协议
arXiv:2610.32057v1 发布类型:新 摘要:我们提出了 HyScale,一种用于学习型稀疏注意力的长上下文训练系统。学习型稀疏注意力是一种在百万级token上下文中颇具前景的架构,自 DeepSeek-V3.2 以来已在生产环境中得到广泛应用。然而,选择过程逐渐成为训练中的性能瓶颈。对于每个查询,它需要对每一个先前的token进行打分,而稀疏注意力仅读取$k$个;更糟糕的是,现有系统会显式构建完整的打分表,并在重计算时重复执行选择操作。我们的关键洞察在于:选择过程的输出并非激活值,而是一组索引。基于这一发现,HyScale 引入了 HyTopK 和选择重放机制。HyTopK 能够在无需打分表的情况下,实时为每个查询找到精确的前$k$个索引;而选择重放则在重计算过程中复用前向传播阶段的选择结果。
Nanbeige LLM 实验室发布了 Nanbeige4.3-33B,这是一款拥有 512K 上下文的 33B 参数密集型 Apache 2.0 模型。据称,该模型在 Terminal-Bench 2.1 上取得了 80.9 的成绩,并将用于训练即将推出的 Nanbeige4.3-3B。文章《Nanbeige 发布 Nanbeige4.3-33B,一款 33B 开放式智能体驱动编码模型》首发于 MarkTechPost。