跳到正文
AI NEWS JOURNAL
AI, IN PERSPECTIVE

搜索 AI 资讯

检索标题、摘要与正文,把分散的信息连起来。

按发布时间排序

SLICE-Mem:用于高效LLM智能体记忆的显著性门控轻量级信息策展

arXiv:2610.33015v1 发布类型:新 摘要:长期记忆使大型语言模型(LLM)代理能够维持个性化且时间上连贯的交互,但为实现记忆的接纳、提取与组织而反复调用LLM进行推理,会带来显著的成本与延迟。我们提出了SLICE-Mem,一个轻量级的记忆框架,它将基于显著性引导的接纳与基于谓词的信息提取相结合。一个紧凑的分类器用于识别值得保留的用户发言,而基于语义依赖关系的提取器则将被接纳的发言转化为简洁的记忆条目。这一在线处理流程无需调用生成式LLM,同时跨条目的一致性校验被推迟至离线的整合阶段。我们在Memora和LongMemEval-S的每周子集上,使用8B a对SLICE-Mem进行了评估

事件进展与其他报道

Nemotron 3.5 Bolt 74B-A9B 24GB:一种用于本地人工智能的视觉-语言混合模型

arXiv:2610.33039v1 发布类型:新 摘要:我们推出了 Nemotron 3.5 Bolt 74B-A9B 24GB,这是一种混合型 Mamba-Transformer 视觉语言模型,可在本地智能体驱动的工作负载中实现每 GB 内存的计算速度与智能性能的最优平衡。该模型源自 Nemotron 3.5 Super VL 120B-A12B 系列,通过结合 Star Elastic 压缩与 2 位量化感知蒸馏技术,适用于内存受限的部署场景。该模型针对推理、智能体工具调用以及网页与终端交互进行了优化。此外,我们还训练了一款名为 LiLiCorr 的投机性起草器,并随模型一同发布,以达到预期的推理速度。最终得到的模型在多项通用智能体任务基准测试中,相较于具有相似内存占用和速度的领先模型,实现了更高的准确率。

新闻源配图 · arXiv cs.CV
事件进展与其他报道

我的还是你的?经过心智桥接的语言模型会将彼此的记忆据为己有

arXiv:2610.33020v1 发布类型:新 摘要:如果你的大脑直接与他人的大脑相连,你还能分辨哪些想法属于你自己吗?我们构建了一个功能版本,其中包含同一语言模型的两个副本:每个副本都保存着一套私有的规则和代码词;而其中一个副本——接收方——还会关注其伙伴的内部记忆。接收方将伙伴的任务视为自己的任务。当被问及自己被分配了哪条规则时,在伙伴的记忆权重为双倍的情况下(无链接时则为零),它在97%的回答中给出了伙伴的规则;而在开放性报告中,它甚至将自己的伙伴的代码词称为“自己的”,而非伙伴的。所有权并不取决于接收方能够多好地判断伙伴被分配了什么。在权重相等的情况下,这种连接使接收方大约以一半的概率采纳伙伴的规则。

事件进展与其他报道

前缀键值对的重要性:在循环语言模型中用于自推测解码的RIPE缓存

arXiv:2610.34436v1 发布类型:新 摘要:循环语言模型在每个标记上会运行 $R$ 轮层,因此其键值(KV)缓存为每递归层保存 $R$ 个平面,而自推测解码(先用几轮进行初步推断,再用全部 $R$ 轮验证)会读取所有这些平面。我们发现,前缀键值的影响主要体现在较晚的阶段:在扰动幅度相同的情况下,第 25 至 32 轮的敏感度分别是第 2 至 9 轮的 $e^{15.0}$ 倍(Huginn-0125)和 $e^{12.8}$ 倍(Raven-Llama),且各平面随循环次数呈几何级数逼近最后一个平面,每轮分别达到 0.88 和 0.81。至于是否仅保留最深层的平面即可,这取决于晚期平面的成熟程度:在 Raven 上,仅存储最深层平面与从 bf16 转换为 fp32 的效果几乎无差异;而在 Huginn 上,仅有 1% 的位置就贡献了其误差的 74%。我们将这一发现转化为 RIPE,该方法存储最深层的

事件进展与其他报道

FlexA-Mem:面向LLM智能体驱动的预算自适应智能体记忆

arXiv:2610.33274v1 发布类型:新 摘要:大型语言模型(LLM)智能体在不同场景下有着截然不同的记忆需求。关于过往对话的问题需要精确引用其中提及的事实,而多步骤任务则需要记录已执行的每一步,并附上下一步无法直接表述的细节。现有的各类记忆系统往往针对某一特定场景进行设计与测试。诸如A-Mem之类的检索型记忆会遗漏当前查询未明确表达的步骤,摘要则会丢失精确的字符串信息,而将两者结合又会在事前就固定了内存预算的分配。我们提出FlexA-Mem,这是一种通用的记忆机制,它将历史中的每一项内容仅写入一次不可更改的存储中,并为每次调用生成一份全新的记忆。生成的记忆是一份紧凑的记录时间线,外加由固定规则所决定的详细信息……

事件进展与其他报道

InferSlice:一种面向电信广域网的、由SLO驱动的LLM推理参考架构

arXiv:2610.32638v1 发布类型:新 摘要:大型语言模型(LLM)推理正日益作为企业和交互式应用的核心服务被部署,但主权、合规、延迟以及资源本地化等方面的要求,可能限制集中式云部署的适用性。电信运营商提供地理分布式的计算与网络基础设施,以应对这些约束。然而,现有的 LLM 服务框架主要面向紧密耦合的数据中心设计,对协调地理分布且异构的资源支持有限。我们提出了 InferSlice,一种面向电信基础设施、以服务等级目标(SLO)为导向的 LLM 推理参考架构,集成了网络切片、GPU 分区、弹性服务与可观测性等功能。

InferSlice: A Reference Architecture for SLO-driven LLM Inference over a Telco Wide-Area Network
事件进展与其他报道

KVStream:面向大规模LLM推理的KV缓存自适应并行存储管理

arXiv:2610.31827v1 发布类型:新 摘要:针对智能体驱动、编码及文档工作负载的长上下文大语言模型服务,会重复使用那些键值(KV)缓存超出GPU和主机内存容量的前缀,从而导致在推理阶段为获取这些前缀而产生存储I/O,使其成为关键路径。单个节点本地的NVMe设备承担了所有检索任务,而各节点已挂载的并行文件系统或云文件存储几乎不承载任何推理流量。我们将前缀检索视为跨这些层级的聚合带宽调度问题,并提出了KVStream——一种KV缓存引擎,它将某一步骤的读取操作进行批处理,在前向传播之后延迟写入,在每一层级上复制每个数据块,并允许每个层级在空闲时自适应地获取下一个未读取的数据块。我们的性能模型表明,这种路由方式能够实现聚合

KVStream: Adaptive Parallel Storage Management for KV Caching in Large-Scale LLM Serving
事件进展与其他报道

缪子预条件何时以及如何生效?结构化梯度噪声的作用

arXiv:2610.31728v1 发布类型:新 摘要:Muon 已成为大型语言模型训练中广受欢迎的优化器,但其理论基础仍缺乏深入理解。在本研究中,我们探讨了梯度噪声的几何结构如何影响 Muon 的预条件化优势。我们首先从理论与实验两方面证明,在经典的各向同性噪声假设下,Muon 仅能通过重新缩放学习率而带来加速效果,无法进一步提升性能。这一发现促使我们进一步考察由异构任务频率下的关联记忆中的小批量采样所引起的结构化噪声。我们为两类任务确定了一个精确的平衡阈值,并将分析扩展至多任务场景,揭示了任务覆盖率与梯度可靠性如何共同塑造学习过程。我们的分析表明,Muon 能够缓解……

When and How Does Muon Precondition? The Role of Structured Gradient Noise
事件进展与其他报道

超越热度:面向分层内存的ARM SPE云与LLM工作负载高分辨率内存特性分析

arXiv:2610.32711v1 发布类型:新 摘要:数据分析与大语言模型工作负载对内存的需求正迅速增长,推高了云环境和数据中心的内存成本。多级内存已成为一种颇具前景的解决方案,可在性能与成本之间实现平衡。然而,要有效利用多级内存,必须深入理解工作负载的内存访问行为。本文提出了一种高分辨率的内存特性分析方法,用于评估针对特定工作负载的多级内存使用机会。鉴于基于ARM的处理器在数据中心中的部署日益增多,我们采用ARM最新的统计剖析扩展(SPE)来实现这一方法。通过对CloudSuite和大语言模型应用中的八个内存密集型工作负载进行特性分析,我们识别出了具有区域特异性的访问模式

Beyond Hotness: High-Resolution Memory Characterization of Cloud and LLM Workloads for Tiered Memory with ARM SPE
事件进展与其他报道

MemPlan:面向部分可观测文本环境的记忆增强型PDDL规划框架

该论文于2026年10月24日在arXiv发布(编号2610.30379v1),提出MemPlan——一种将大语言模型(LLM)作为语言与符号规划之间受限桥梁的记忆条件化PDDL规划框架,适用于部分可观测的交互式文本环境。

MemPlan: Memory-Conditioned PDDL Planning for Partially Observable Text Environments

推荐理由:MemPlan通过正向图记忆与负向记忆机制动态重构PDDL问题,显著提升任务完成率与步数效率,同时大幅降低在线token消耗;其离线微调的语言–符号接口可跨TextWorld任务类型复用,无需任务特化微调,体现了方法的泛化性与实用性。

事件进展与其他报道