跳到正文
AI NEWS JOURNAL
AI, IN PERSPECTIVE

搜索 AI 资讯

检索标题、摘要与正文,把分散的信息连起来。

按发布时间排序

FenixWalk:面向异构架构的大规模动态图自适应采样

arXiv:2611.04683v1 公告类型:新 基础摘要:随机游走是图分析的基础,但在大型动态图上高效执行仍具挑战。现有方法需在采样效率、更新开销和内存消耗之间权衡。为吞吐量优化的采样结构往往带来显著的内存开销和高昂的维护成本,而轻量级方案在高度数顶点或权重分布偏斜时又可能面临较高的采样延迟。这些挑战在异构CPU-GPU平台上尤为突出:主机内存容量充足,但GPU内存限制了可从并行加速中获益的图数据量。我们提出了FenixWalk,一个面向大规模动态图的内存高效随机游走系统,将统一的原地采样与选择性GPU加速相结合。核心上,FenixWalk采用原地Fenwick表示,无需复制边级权重存储即可支持拒绝采样和逆变换采样。该表示使拒绝采样具备期望O(1)的权重查询时间,并支持O(log d)的前缀采样与更新。为高效利用异构硬件,FenixWalk将完整图及其采样结构保留在主机内存,同时将频繁重用的顶点本地采样器有选择地放置在GPU上。通过传输紧凑的游走器状态而非反复迁移图分区,该系统减少了跨设备通信,并有效利用了有限的GPU内存。在大型真实世界图及代表性随机游走工作负载上的实验表明,FenixWalk相较于现有随机游走系统实现了平均2.06倍至400.57倍的加速。

超越低通动力学:基于谐振神经元的频率选择性脉冲储备池

arXiv:2610.37906v1 发布类型:新 摘要:脉冲储备计算将固定递归储备池的训练效率与事件驱动推理的能量效率相结合,其中计算由稀疏脉冲触发,而非在每个时间步都进行密集运算。然而,现有的脉冲储备池几乎完全依赖于漏积分-发放(LIF)神经元,其低通特性限制了它们区分不同时间频率所编码信息的能力。我们提出了HRF-Res,一种液态状态机,其中LIF神经元被异质的谐波谐振-发放(HRF)神经元群体所取代。这些神经元具有内在的振荡动力学,并能选择性地响应输入频率,从而使储备池能够捕捉频

事件进展与其他报道

异构性何时带来收益?理解GPU与WSE系统的互补性

arXiv:2610.39222v1 发布类型:新 摘要:随着人工智能加速器架构日益多样化,将不同架构整合到统一系统中正逐渐成为一种新兴的异构计算范式。GPU与WSE在计算、内存和通信组织等方面存在显著差异,这既带来了架构上的互补性,也增加了额外的开销;然而,如何将这种异构性转化为实际的性能提升仍不明确。为填补这一空白,我们提出了一种分层基准测试方法,用于刻画GPU—WSE的异构执行特性及发挥互补性的条件,并构建了一个分析型性能模型,用以识别在何种情况下异构性会成为性能瓶颈,而在何种情况下则能带来系统级的性能提升。

事件进展与其他报道

何时以及为何使用TMA:基于工作负载的NVIDIA Hopper GPU张量内存加速特性分析

arXiv:2610.34907v1 发布类型:新 摘要:在NVIDIA Hopper架构中推出的张量内存加速器(TMA),已在生产环境中的GPU内核中得到广泛应用,但其使用却表现出明显的选择性:CUTLASS、FlashAttention-3和FlashInfer等领域的资深内核开发者仅对内核中的部分张量操作数采用TMA,而对其余操作数则退回到cp.async、直接全局加载或分布式共享内存(DSM)等方式。厂商文档虽已说明了该API,近期的微基准测试也单独刻画了TMA的吞吐性能,但这些研究均未能解答从业者实际面临的疑问:在内核中遇到某个内存操作数时,究竟是否应使用TMA?若使用,又该搭配还是不搭配集群多播?我们通过一项基于工作负载的实证研究,在H100平台上填补了这一空白。我们系统地梳理了TMA、多

事件进展与其他报道

LooseLeaf:为计算型笔记本电脑启用无服务器GPU

arXiv:2610.33275v1 发布类型:新 摘要:计算型笔记本会在整个会话期间独占一块GPU,然而GPU仅在单元格执行时进行计算,其余时间则处于空闲状态。无服务器执行模式可以在各单元格之间释放GPU资源,但在新的工作节点上重建累积的笔记本状态会对每个GPU单元格带来显著的开销。本文提出了一种面向交互式笔记本的无服务器GPU平台——LooseLeaf。LooseLeaf能够推导出每个单元格的状态及其导入闭包,即该单元格所需的最小变量与软件包集合。我们在5,000个真实世界笔记本上的分析表明,这些闭包规模很小,且用户对单元格的编辑操作只需数秒即可完成准备。LooseLeaf会在用户编辑单元格的同时,基于这些闭包为GPU工作节点做好准备。执行结束后,该工作节点会…

新闻源配图 · arXiv cs.DC
事件进展与其他报道

云端的大型语言模型:关于架构、编排与推理的探讨

arXiv:2610.33475v1 发布类型:新 摘要:基础大型语言模型(LLM)在云数据中心的广泛部署,标志着从无状态深度学习向分布式、内存密集型生成式工作负载的根本性范式转变。然而,在严格的服务水平目标(SLO)下为海量基础模型提供服务,会暴露出关键的物理与系统瓶颈。这些挑战包括持续存在的高带宽存储器(HBM)墙、计算密集型预填充与内存带宽受限的解码之间的运行不对称、键值(KV)缓存的爆炸式增长、代价高昂的无服务器冷启动,以及硬件可靠性方面的漏洞。现有的文献综述仍局限于各层次的孤立视角,未能将底层加速器的虚拟化与集群……

事件进展与其他报道

FrontGI:基于小芯片多核系统的架构感知并行GNN推理

arXiv:2610.34911v1 发布类型:新 摘要:高性能计算的范畴已扩展至涵盖多种形态的机器学习任务。图神经网络(GNN)日益受到青睐,其应用领域不断拓展。随着图数据规模的持续增长,包括节点数量、边的数量以及嵌入维度的不断提升,DGL 和 PyG 等标准化库应运而生,旨在简化 GNN 的计算过程。这些库允许以高层次的抽象方式描述计算流程,从而显著提升开发者的生产效率。然而,随着处理器核心数的迅速增加以及多核架构的演进,这类库往往表现出较差的可扩展性,并且无法实

事件进展与其他报道

DualPace:用于大语言模型推理的解耦调度与GPU-CPU协同解码

arXiv:2610.33501v1 发布类型:新 提要:大型语言模型(LLM)的推理服务依赖于批处理以提升推理吞吐量,但键值(KV)缓存会随序列长度增长,从而限制了GPU上的并发度。通过CPU卸载,可以利用主机内存扩展KV缓存容量,然而现有系统在很大程度上仍受GPU瓶颈制约:只有当GPU调度器能够提供合适的重叠机会时,CPU驻留的请求才能取得进展。因此,主机内存与CPU计算无法作为独立的推理资源发挥作用,导致负载下CPU端进度波动加剧,并使尾部词间延迟(ITL)显著增加。我们提出了DualPace,一种将主机转变为独立调度解码引擎的LLM推理运行时。DualPace在两个引擎之间划分了调度权:GPU引擎

事件进展与其他报道