跳到正文
AI NEWS JOURNAL
AI, IN PERSPECTIVE

搜索 AI 资讯

检索标题、摘要与正文,把分散的信息连起来。

按发布时间排序

迄今为止最高性价比的Hy模型!腾讯混元Hy4 flash发布,速度大幅提升

11 月 16 日,腾讯混元最新语言模型 Hy4 flash 发布,模型总参数量为 224B (其中 64B Engram 参数),激活参数仅为 12B,支持多模态和 1M 上下文长度。Hy4 flash 是迄今为止最高性价比的 Hy 模型:每百万 Token 输入 0.5 元、输出 2 元,命中缓存时仅需 0.02 元,价格相比 Hy4 大幅降低。为了达到极致的性价比,同时兼顾智能水平和实用性,混元团队做了一系列工作:在预训练阶段,Hy4 flash 加入了混合注意力、LatentMoE、Engram 等架构特性,KV cache 大小仅为 Hy3 的 1/24、Hy4 的 1/6,且通过大...

迄今为止最高性价比的Hy模型!腾讯混元Hy4 flash发布,速度大幅提升

b12207

在 ggml-cuda 的 SSM_SCAN 内核中,已为 d_state=64 添加了一条新的快速路径,通过消除该状态大小下的 CPU 回退,将 Zamba2-7B-Instruct 的生成吞吐量从 11 tok/s 提升至 15.1 tok/s——约提升 35%。该更改已使用真实的 Zamba2 超参数进行了验证,并保持了正确性;不过,由于一个尚未诊断的问题,仍有 28% 的 scan 调用会回退到 CPU。

超越低通动力学:基于谐振神经元的频率选择性脉冲储备池

arXiv:2610.37906v1 发布类型:新 摘要:脉冲储备计算将固定递归储备池的训练效率与事件驱动推理的能量效率相结合,其中计算由稀疏脉冲触发,而非在每个时间步都进行密集运算。然而,现有的脉冲储备池几乎完全依赖于漏积分-发放(LIF)神经元,其低通特性限制了它们区分不同时间频率所编码信息的能力。我们提出了HRF-Res,一种液态状态机,其中LIF神经元被异质的谐波谐振-发放(HRF)神经元群体所取代。这些神经元具有内在的振荡动力学,并能选择性地响应输入频率,从而使储备池能够捕捉频

事件进展与其他报道

异构性何时带来收益?理解GPU与WSE系统的互补性

arXiv:2610.39222v1 发布类型:新 摘要:随着人工智能加速器架构日益多样化,将不同架构整合到统一系统中正逐渐成为一种新兴的异构计算范式。GPU与WSE在计算、内存和通信组织等方面存在显著差异,这既带来了架构上的互补性,也增加了额外的开销;然而,如何将这种异构性转化为实际的性能提升仍不明确。为填补这一空白,我们提出了一种分层基准测试方法,用于刻画GPU—WSE的异构执行特性及发挥互补性的条件,并构建了一个分析型性能模型,用以识别在何种情况下异构性会成为性能瓶颈,而在何种情况下则能带来系统级的性能提升。

事件进展与其他报道

何时以及为何使用TMA:基于工作负载的NVIDIA Hopper GPU张量内存加速特性分析

arXiv:2610.34907v1 发布类型:新 摘要:在NVIDIA Hopper架构中推出的张量内存加速器(TMA),已在生产环境中的GPU内核中得到广泛应用,但其使用却表现出明显的选择性:CUTLASS、FlashAttention-3和FlashInfer等领域的资深内核开发者仅对内核中的部分张量操作数采用TMA,而对其余操作数则退回到cp.async、直接全局加载或分布式共享内存(DSM)等方式。厂商文档虽已说明了该API,近期的微基准测试也单独刻画了TMA的吞吐性能,但这些研究均未能解答从业者实际面临的疑问:在内核中遇到某个内存操作数时,究竟是否应使用TMA?若使用,又该搭配还是不搭配集群多播?我们通过一项基于工作负载的实证研究,在H100平台上填补了这一空白。我们系统地梳理了TMA、多

事件进展与其他报道

云端的大型语言模型:关于架构、编排与推理的探讨

arXiv:2610.33475v1 发布类型:新 摘要:基础大型语言模型(LLM)在云数据中心的广泛部署,标志着从无状态深度学习向分布式、内存密集型生成式工作负载的根本性范式转变。然而,在严格的服务水平目标(SLO)下为海量基础模型提供服务,会暴露出关键的物理与系统瓶颈。这些挑战包括持续存在的高带宽存储器(HBM)墙、计算密集型预填充与内存带宽受限的解码之间的运行不对称、键值(KV)缓存的爆炸式增长、代价高昂的无服务器冷启动,以及硬件可靠性方面的漏洞。现有的文献综述仍局限于各层次的孤立视角,未能将底层加速器的虚拟化与集群……

事件进展与其他报道

在人工智能需求高涨之际,Marvell早期的芯片制造押注终于获得回报

八年前,芯片制造商美满电子科技公司决定在纳米制程领域实现跨越式发展,此后其发展轨迹一路稳步向上。在半导体制造领域,纳米制程代号所指的并非晶体管的确切物理尺寸,而是各代芯片制造技术,即所谓的工艺节点。先进的工艺节点通常能够提升晶体管密度,并带来性能上的改进……文章《美满电子在人工智能需求推动下,早期的芯片制造豪赌终获回报》首发于SiliconANGLE。

事件进展与其他报道

AnyLanguageModel 1.0发布:支持本地与托管模型的统一Swift接口,适配Apple平台全系OS 27

Hugging Face正式发布AnyLanguageModel 1.0,提供与Apple Foundation Models API完全兼容的开源Swift框架,支持本地(MLX、llama.cpp、Core ML)及托管(OpenAI、Anthropic、Gemini、Hugging Face Inference Providers等)模型无缝切换,并新增图像输入、工具调用、引导式生成、推理块自动适配等特性。

事件进展与其他报道