跳到正文
AI NEWS JOURNAL
AI, IN PERSPECTIVE

搜索 AI 资讯

检索标题、摘要与正文,把分散的信息连起来。

按发布时间排序

FenixWalk:面向异构架构的大规模动态图自适应采样

arXiv:2611.04683v1 公告类型:新 基础摘要:随机游走是图分析的基础,但在大型动态图上高效执行仍具挑战。现有方法需在采样效率、更新开销和内存消耗之间权衡。为吞吐量优化的采样结构往往带来显著的内存开销和高昂的维护成本,而轻量级方案在高度数顶点或权重分布偏斜时又可能面临较高的采样延迟。这些挑战在异构CPU-GPU平台上尤为突出:主机内存容量充足,但GPU内存限制了可从并行加速中获益的图数据量。我们提出了FenixWalk,一个面向大规模动态图的内存高效随机游走系统,将统一的原地采样与选择性GPU加速相结合。核心上,FenixWalk采用原地Fenwick表示,无需复制边级权重存储即可支持拒绝采样和逆变换采样。该表示使拒绝采样具备期望O(1)的权重查询时间,并支持O(log d)的前缀采样与更新。为高效利用异构硬件,FenixWalk将完整图及其采样结构保留在主机内存,同时将频繁重用的顶点本地采样器有选择地放置在GPU上。通过传输紧凑的游走器状态而非反复迁移图分区,该系统减少了跨设备通信,并有效利用了有限的GPU内存。在大型真实世界图及代表性随机游走工作负载上的实验表明,FenixWalk相较于现有随机游走系统实现了平均2.06倍至400.57倍的加速。

短时傅里叶变换并行实现的比较研究

arXiv:2610.38069v1 发布类型:新 摘要:短时傅里叶变换(STFT)通过对较长信号的一段短时窗口进行傅里叶变换,从而刻画频率随时间的变化特征。尽管傅里叶变换算法,尤其是快速傅里叶变换(FFT)算法,已得到充分发展以充分利用并行计算的优势,但关于并行短时傅里叶变换算法性能的研究仍较为有限。在本研究中,我们实现了两种并行短时傅里叶变换算法——一种基于FFT,另一种为准并行前馈算法——并对其进行了对比分析。研究发现,在低并发环境下,准并行算法在运行时间上更具优势,而……

事件进展与其他报道

异构性何时带来收益?理解GPU与WSE系统的互补性

arXiv:2610.39222v1 发布类型:新 摘要:随着人工智能加速器架构日益多样化,将不同架构整合到统一系统中正逐渐成为一种新兴的异构计算范式。GPU与WSE在计算、内存和通信组织等方面存在显著差异,这既带来了架构上的互补性,也增加了额外的开销;然而,如何将这种异构性转化为实际的性能提升仍不明确。为填补这一空白,我们提出了一种分层基准测试方法,用于刻画GPU—WSE的异构执行特性及发挥互补性的条件,并构建了一个分析型性能模型,用以识别在何种情况下异构性会成为性能瓶颈,而在何种情况下则能带来系统级的性能提升。

事件进展与其他报道

雅可比透镜的数学理论

arXiv:2610.31955v1 发布类型:新 提要:Anthropic 的最新研究提出了一种名为“雅可比透镜”(J-lens,Gurnee 等人,2026)的新可解释性工具。该方法在前沿语言模型的隐藏状态中识别出一些线性方向,这些方向表现出类似工作记忆表征的特性。然而,尚不清楚究竟是哪些机制特性使这类特征能够被 J-lens 检测到。为此,我们提出了 J-lens 的数学理论,并证明它倾向于识别相干特征——即那些类似于主导、在空间上具有连贯性的李雅普诺夫模态的方向。沿着这些方向施加微小扰动时,其放大效应会逐层传递,在各个标记位置大致保持不变,并且在不同上下文中也具有一致性。尽管 w

新闻源配图 · arXiv cs.LG
事件进展与其他报道

SLICE-Mem:用于高效LLM智能体记忆的显著性门控轻量级信息策展

arXiv:2610.33015v1 发布类型:新 摘要:长期记忆使大型语言模型(LLM)代理能够维持个性化且时间上连贯的交互,但为实现记忆的接纳、提取与组织而反复调用LLM进行推理,会带来显著的成本与延迟。我们提出了SLICE-Mem,一个轻量级的记忆框架,它将基于显著性引导的接纳与基于谓词的信息提取相结合。一个紧凑的分类器用于识别值得保留的用户发言,而基于语义依赖关系的提取器则将被接纳的发言转化为简洁的记忆条目。这一在线处理流程无需调用生成式LLM,同时跨条目的一致性校验被推迟至离线的整合阶段。我们在Memora和LongMemEval-S的每周子集上,使用8B a对SLICE-Mem进行了评估

事件进展与其他报道

何时以及为何使用TMA:基于工作负载的NVIDIA Hopper GPU张量内存加速特性分析

arXiv:2610.34907v1 发布类型:新 摘要:在NVIDIA Hopper架构中推出的张量内存加速器(TMA),已在生产环境中的GPU内核中得到广泛应用,但其使用却表现出明显的选择性:CUTLASS、FlashAttention-3和FlashInfer等领域的资深内核开发者仅对内核中的部分张量操作数采用TMA,而对其余操作数则退回到cp.async、直接全局加载或分布式共享内存(DSM)等方式。厂商文档虽已说明了该API,近期的微基准测试也单独刻画了TMA的吞吐性能,但这些研究均未能解答从业者实际面临的疑问:在内核中遇到某个内存操作数时,究竟是否应使用TMA?若使用,又该搭配还是不搭配集群多播?我们通过一项基于工作负载的实证研究,在H100平台上填补了这一空白。我们系统地梳理了TMA、多

事件进展与其他报道

航点:针对CPU的GEMM分析建模

arXiv:2610.34914v1 发布类型:新 提要:高性能通用矩阵乘法(GEMM)的实现依赖于将GEMM分解为经过精心选择的分块,以达到峰值性能。我们提出了一种名为Waypoint的新分析模型,用于针对给定的硬件和输入矩阵形状自动确定最优的分块大小。Waypoint通过捕捉所有架构效应——包括与存储层次结构的交互、指令级并行以及多线程——来估算特定分块选择所能达到的性能。以这些估算值为代理,我们在可能的分块大小空间中进行搜索,从而找到能够最大化性能的分块尺寸。此外,Waypoint还有助于硬件设计人员在实验性硬件优化方案上估算其实际性能。

事件进展与其他报道

EVOLVE:基于自适应原型记忆的不确定性感知多变量时间序列异常预测

arXiv:2610.32189v1 发布类型:新 摘要:无监督多变量时间序列异常预测(AP)旨在根据当前观测值估计未来的异常风险,为复杂系统中的主动干预与维护提供早期预警信号。现有的无监督AP方法遵循基于扰动的范式,即在历史窗口中注入预定义或随机的扰动,以模拟异常的未来演化。然而,这些方法在不同变量和情境之间共享同一类扰动,并学习一种确定性的历史到未来的演化模式。实际上,异常演化具有变量和情境依赖性:同样的扰动在某一变量或情境下可能被放大为异常的未来动态,而在另一情境下却可能被吸收为正常的波动。

事件进展与其他报道

基于状态空间编码的线性时间上下文压缩

arXiv:2610.33006v1 发布类型:新 摘要:基于Transformer的大型语言模型(LLMs)在上下文长度增加时会带来巨大的计算与内存开销,这促使人们研究在推理前将上下文压缩为更短表示的方法。现有的软提示压缩方法通常采用与目标模型相同的Transformer主干架构,而在生成压缩表示的过程中会产生显著的延迟开销。这使得这些方法仅适用于离线场景——即上下文被一次性压缩后,在多次查询中重复使用。我们提出了Boa压缩器,这是一种即插即用的在线上下文压缩器,基于Mamba状态空间模型(SSM)构建,能够在一次线性时间的遍历中编码任意长度的上下文,并生成一个可用于后续条件化的表示……

事件进展与其他报道

Nemotron 3.5 Bolt 74B-A9B 24GB:一种用于本地人工智能的视觉-语言混合模型

arXiv:2610.33039v1 发布类型:新 摘要:我们推出了 Nemotron 3.5 Bolt 74B-A9B 24GB,这是一种混合型 Mamba-Transformer 视觉语言模型,可在本地智能体驱动的工作负载中实现每 GB 内存的计算速度与智能性能的最优平衡。该模型源自 Nemotron 3.5 Super VL 120B-A12B 系列,通过结合 Star Elastic 压缩与 2 位量化感知蒸馏技术,适用于内存受限的部署场景。该模型针对推理、智能体工具调用以及网页与终端交互进行了优化。此外,我们还训练了一款名为 LiLiCorr 的投机性起草器,并随模型一同发布,以达到预期的推理速度。最终得到的模型在多项通用智能体任务基准测试中,相较于具有相似内存占用和速度的领先模型,实现了更高的准确率。

新闻源配图 · arXiv cs.CV
事件进展与其他报道

基于证据的直觉:面向多模态智能体的自适应双重记忆

arXiv:2610.33019v1 发布类型:新 摘要:随着多模态智能体开展持续交互,长期记忆发挥着两种既 distinct 又互补的功能:细粒度的证据召回,以及用于全局理解的内化解读。尽管情景记忆与隐式记忆分别通过显式的历史记录和内化的经验来满足这些需求,但由于情景记忆在证据覆盖与整合方面存在局限,而隐式记忆又缺乏扎实的事实基础,单一的范式难以兼顾不同任务间多样化的记忆偏好。为弥合这一鸿沟,我们提出了一种双记忆框架,将模型原生的隐式记忆作为直观的先验,同时结合多索引的情景记忆,通过检索驱动的联合对齐实现精确的证据重建。在 i

新闻源配图 · arXiv cs.CV
事件进展与其他报道

云端的大型语言模型:关于架构、编排与推理的探讨

arXiv:2610.33475v1 发布类型:新 摘要:基础大型语言模型(LLM)在云数据中心的广泛部署,标志着从无状态深度学习向分布式、内存密集型生成式工作负载的根本性范式转变。然而,在严格的服务水平目标(SLO)下为海量基础模型提供服务,会暴露出关键的物理与系统瓶颈。这些挑战包括持续存在的高带宽存储器(HBM)墙、计算密集型预填充与内存带宽受限的解码之间的运行不对称、键值(KV)缓存的爆炸式增长、代价高昂的无服务器冷启动,以及硬件可靠性方面的漏洞。现有的文献综述仍局限于各层次的孤立视角,未能将底层加速器的虚拟化与集群……

事件进展与其他报道

我的还是你的?经过心智桥接的语言模型会将彼此的记忆据为己有

arXiv:2610.33020v1 发布类型:新 摘要:如果你的大脑直接与他人的大脑相连,你还能分辨哪些想法属于你自己吗?我们构建了一个功能版本,其中包含同一语言模型的两个副本:每个副本都保存着一套私有的规则和代码词;而其中一个副本——接收方——还会关注其伙伴的内部记忆。接收方将伙伴的任务视为自己的任务。当被问及自己被分配了哪条规则时,在伙伴的记忆权重为双倍的情况下(无链接时则为零),它在97%的回答中给出了伙伴的规则;而在开放性报告中,它甚至将自己的伙伴的代码词称为“自己的”,而非伙伴的。所有权并不取决于接收方能够多好地判断伙伴被分配了什么。在权重相等的情况下,这种连接使接收方大约以一半的概率采纳伙伴的规则。

事件进展与其他报道

前缀键值对的重要性:在循环语言模型中用于自推测解码的RIPE缓存

arXiv:2610.34436v1 发布类型:新 摘要:循环语言模型在每个标记上会运行 $R$ 轮层,因此其键值(KV)缓存为每递归层保存 $R$ 个平面,而自推测解码(先用几轮进行初步推断,再用全部 $R$ 轮验证)会读取所有这些平面。我们发现,前缀键值的影响主要体现在较晚的阶段:在扰动幅度相同的情况下,第 25 至 32 轮的敏感度分别是第 2 至 9 轮的 $e^{15.0}$ 倍(Huginn-0125)和 $e^{12.8}$ 倍(Raven-Llama),且各平面随循环次数呈几何级数逼近最后一个平面,每轮分别达到 0.88 和 0.81。至于是否仅保留最深层的平面即可,这取决于晚期平面的成熟程度:在 Raven 上,仅存储最深层平面与从 bf16 转换为 fp32 的效果几乎无差异;而在 Huginn 上,仅有 1% 的位置就贡献了其误差的 74%。我们将这一发现转化为 RIPE,该方法存储最深层的

事件进展与其他报道

DualPace:用于大语言模型推理的解耦调度与GPU-CPU协同解码

arXiv:2610.33501v1 发布类型:新 提要:大型语言模型(LLM)的推理服务依赖于批处理以提升推理吞吐量,但键值(KV)缓存会随序列长度增长,从而限制了GPU上的并发度。通过CPU卸载,可以利用主机内存扩展KV缓存容量,然而现有系统在很大程度上仍受GPU瓶颈制约:只有当GPU调度器能够提供合适的重叠机会时,CPU驻留的请求才能取得进展。因此,主机内存与CPU计算无法作为独立的推理资源发挥作用,导致负载下CPU端进度波动加剧,并使尾部词间延迟(ITL)显著增加。我们提出了DualPace,一种将主机转变为独立调度解码引擎的LLM推理运行时。DualPace在两个引擎之间划分了调度权:GPU引擎

事件进展与其他报道

参数化会话状态:无需重放历史即可恢复检索意图

arXiv:2610.33047v1 发布类型:新 摘要:长期运行的智能助手常常需要理解那些其指代对象、约束条件以及主动目标早在多轮对话前就已经确立的后续请求。因此,核心挑战不仅在于上下文长度,还在于检索意图:例如,当前查询“使用之前的配置”可能遗漏了用于定位相关证据所需的项目、实体和版本等关键术语。长上下文模型可以通过重放交互过程来恢复这些术语,但同时也需反复承担处理历史信息的开销。传统的检索增强生成(RAG)方法成本较低,却假定查询本身已包含充分的信息;而对话式改写要么重新读取历史,要么依赖于显式维护的文本记忆。我们提出了\emph{参数化会话状态}

事件进展与其他报道

FlexA-Mem:面向LLM智能体驱动的预算自适应智能体记忆

arXiv:2610.33274v1 发布类型:新 摘要:大型语言模型(LLM)智能体在不同场景下有着截然不同的记忆需求。关于过往对话的问题需要精确引用其中提及的事实,而多步骤任务则需要记录已执行的每一步,并附上下一步无法直接表述的细节。现有的各类记忆系统往往针对某一特定场景进行设计与测试。诸如A-Mem之类的检索型记忆会遗漏当前查询未明确表达的步骤,摘要则会丢失精确的字符串信息,而将两者结合又会在事前就固定了内存预算的分配。我们提出FlexA-Mem,这是一种通用的记忆机制,它将历史中的每一项内容仅写入一次不可更改的存储中,并为每次调用生成一份全新的记忆。生成的记忆是一份紧凑的记录时间线,外加由固定规则所决定的详细信息……

事件进展与其他报道

InferSlice:一种面向电信广域网的、由SLO驱动的LLM推理参考架构

arXiv:2610.32638v1 发布类型:新 摘要:大型语言模型(LLM)推理正日益作为企业和交互式应用的核心服务被部署,但主权、合规、延迟以及资源本地化等方面的要求,可能限制集中式云部署的适用性。电信运营商提供地理分布式的计算与网络基础设施,以应对这些约束。然而,现有的 LLM 服务框架主要面向紧密耦合的数据中心设计,对协调地理分布且异构的资源支持有限。我们提出了 InferSlice,一种面向电信基础设施、以服务等级目标(SLO)为导向的 LLM 推理参考架构,集成了网络切片、GPU 分区、弹性服务与可观测性等功能。

InferSlice: A Reference Architecture for SLO-driven LLM Inference over a Telco Wide-Area Network
事件进展与其他报道

面向开放ISA的超级计算:RISC-V、Arm与x86架构在HPC工作负载上的比较研究

arXiv:2610.32632v1 发布类型:新 摘要:RISC‑V 正在成为高性能计算(HPC)领域的候选架构,但其与成熟的 x86 和 Arm 处理器相比的竞争力仍难以评估,因为现有研究采用的平台、工作负载和方法各不相同,且很少考虑能效。我们的工作基于统一的软件栈和评估方法,对当前主流的 HPC RISC‑V、Arm 和 x86 处理器进行了全面评测。我们详细分析了 Sophgo SG2044,并将其与 NVIDIA Grace CPU 超级芯片以及 Intel Xeon Platinum 8480+ 在四项 HPC 基准测试(STREAM、HPL、HPL‑MxP 和 HPCG)以及四款典型应用(iPIC3D、PLUTO、OpenFOAM 和 llama.cpp)上进行了对比。用于本研究的 HPL‑MxP 版本链接至 OpenBLAS,并以此为基础进行构建和测试……

Toward Open ISA Supercomputing: A Comparative Study of RISC-V, Arm, and x86 Architectures on HPC Workloads
事件进展与其他报道

迁移作为稳态执行原语:一种用于近地轨道虚拟静止状态的运行时环境

arXiv:2610.32720v1 发布类型:新 提要:低地球轨道(LEO)卫星巨型星座为对时延敏感的地球同步应用提供了在轨边缘计算能力,但卫星的运动使视距通信窗口被压缩至仅几分钟。为保持逻辑上的地理邻近性,一种被称为“虚拟静止性”(VS)的范式要求应用程序在星座中不断跨过经过的卫星进行迁移。传统的实时迁移机制仅针对单个发起的重定位或复制操作进行优化,而未能满足轨道运动所必需的连续宿主机间切换需求。我们重新将实时迁移表述为一种稳态执行模型,并提出了一种全新的虚拟静止性运行时范式。我们形式化了连续迁移的可行性……

Migration as a Steady-State Execution Primitive: A Runtime for Virtual Stationarity in Low-Earth Orbit
事件进展与其他报道