全部 AI 动态

b11927

metal：添加 GGML_OP_TOP_K_MASK（#31230）* metal：添加 GGML_OP_TOP_K_MASK 将融合后的 top-k 掩码从 CUDA 后端移植过来：一个网格步进内核先用 -inf 填充输出，然后每行一个线程组将保留单元的掩码值复制到其上。函数常量会剔除某个图中未使用的分数、块以及额外路径。协助者：dsh:llama.cpp/ggml-org/Qwen3.8-Flash-Next-GGUF（MacBook，M5 Max，128GB）* metal：清理 top-k 掩码内核的格式 协助者：dsh:llama.cpp/ggml-org/Qwen3.8-Flash-Next-GGUF（MacBook，M5 Max，128GB）**网站：** - **证明文件：** - **macOS/iOS：** - [macOS 苹果芯片（arm64）](https://github.com/ggml-org/llama.cpp/releases/download/b11927/llama-b11927-bin-macos-arm64.tar.gz) - macOS 苹果芯片（arm64，已启用 KleidiAI）[已禁用](

英伟达支持一家印度初创企业，助力企业以更少的GPU运行AI模型

Simplismart表示，其年化收入增速在六个月内增长了14倍，其中美国市场贡献了超过一半的收入。

b11926

glm5-next：无kq_mask的QSA（+ DSA）（#31009）* glm5-next：无kq_mask的QSA * DSA：dsa top-k mask变更已在DeepSeek-V3.2的第0层和第3层上进行了测试 **网站：** - **证明材料：** - **macOS/iOS：** - [macOS Apple Silicon（arm64）](https://github.com/ggml-org/llama.cpp/releases/download/b11926/llama-b11926-bin-macos-arm64.tar.gz) - macOS Apple Silicon（arm64，启用KleidiAI）[已禁用](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS Intel（x64）](https://github.com/ggml-org/llama.cpp/releases/download/b11926/llama-b11926-bin-macos-x64.tar.gz) - [iOS XCFramework](https://github.com/ggml-org/llama.cpp/releases/download/b11926/llama-b11926-xcframework.zip) **Linux：** - [Ubuntu x64（CPU）](https://github.com/ggml-org/llama.cpp/releases/download/b11926/llama-b11926-bin-ubuntu-x64.t)

乐奇Rokid发布三款AI穿戴新品，拓展显示与交互方案

10月27日，乐奇Rokid推出AI眼镜Rokid Glasses 2、全彩AI眼镜Rokid Color和交互戒指Rokid Ring

港交所AI指数来了，南方基金先上桌：这张牌有多重？

指数落地+ETF授权，港股AI与半导体迎来新的配置工具与资金入口.

开发者如何接住AI时代的底座红利？CEIC×1024深圳专场解密AI与鸿蒙开发新基建

2026年长沙·1024程序员日活动期间，CEIC消费电子创新大会与CSDN在深圳联手打造了一场属于开发者的硬核技术盛宴。正如CEIC组委会常务副主任杨涛在接受采访时所言：“消费电子领域所有的体验创新，归根到底都是由于我们的程序员代码敲出来的。”在当前的技术拐点下，从单纯的手写代码，到利用智能体（Agent）和丰富的端侧AP...

数据中心扩张引发全美地方反对，成为2026年中期选举关键议题

据《The Verge》2026年10月27日报道，美国各地社区因数据中心大规模建设及其配套基建成本激增而爆发广泛反对，该议题已深度介入多场国会及州长竞选。科技资本加速入场，由马克·安德森与格雷格·布罗克曼支持的超级政治行动委员会“Leading the Future”一年内已投入4500万美元；Anthropic支持的“Public First Action”亦参与其中。

推荐理由：材料来源明确（The Verge）、发布时间与当前系统时间一致（2026-10-27），内容聚焦可验证的公共政策与选举动态，包含具体主体、金额、时间节点及组织关系，符合时效性与事实锚定要求。

b11925

ci：在 ROCm 发布版本构建中使用 ccache 依赖模式（#31231）**网站：** - **证明文件：** - **macOS/iOS：** - [macOS Apple Silicon（arm64）](https://github.com/ggml-org/llama.cpp/releases/download/b11925/llama-b11925-bin-macos-arm64.tar.gz) - macOS Apple Silicon（arm64，已启用 KleidiAI）[已禁用](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS Intel（x64）](https://github.com/ggml-org/llama.cpp/releases/download/b11925/llama-b11925-bin-macos-x64.tar.gz) - [iOS XCFramework](https://github.com/ggml-org/llama.cpp/releases/download/b11925/llama-b11925-xcframework.zip) **Linux：** - [Ubuntu x64（CPU）](https://github.com/ggml-org/llama.cpp/releases/download/b11925/llama-b11925-bin-ubuntu-x64.tar.gz) - [Ubuntu arm64（CPU）](https://github.com/ggml-org/llama.cpp/releases/download/b1192)

b11923

ggml：放宽对非连续视图的缩放（#31146）* ggml：放宽对非连续视图的缩放 SCALE 要求 src0 必须是一维连续内存。现将其放宽为在维度 0 上具有任意行步长的连续性（ggml_is_contiguous_rows），这与 Metal 后端中的单目运算保持一致。 - ggml：放宽 ggml_scale_impl 中的断言 - cpu：通过字节步长访问 src0 的各行（f32、bf16） - cuda：支持步长感知的内核，采用 fastdiv 行分解 - metal：支持 bf16 缩放（通过受保护的单目实例化） - sycl：保持 gate 处于连续状态，内核则以 f32 平铺形式实现 为 test_scale 添加视图变体。已在 CPU、Metal 和 CUDA 上验证。协助者：dsh:llama.cpp/ggml-org/Qwen3.8-Flash-Next-GGUF（RTX 5090 32GB，DDR5 128GB）* cuda：在非连续视图上跳过软截断融合 融合后的软截断内核会读取 src 和 w

b11922

测试：修复针对已训练模型的多序列拆分重放及部分状态情形（#31216）* 测试：修复针对已训练模型的多序列拆分重放 回滚快照由解码回滚尾部的图谱捕获，而参考上下文则以不同的批次形状解码同一前缀。这两种状态在最后几位上存在差异，且已训练模型会在每次重放的每个标记中进一步放大这种差异。仅比较每个序列的第一个重放标记，然后在序列-1-only尾部之前，将回滚状态恢复到参考上下文中。 协助者：dsh:llama.cpp/ggml-org/Qwen3.8-Flash-Next-GGUF（MacBook，M5 Max，128GB）* 测试：要求在拆分重放中实现逐位精确的序列-1隔离 序列状态保存并不总是位完全无损——SWA掩码单元不会被保存——因此需重新加载其余部分

b11921

llama：从内存实例中移除已废弃的 n_pad（#31200） 每个调用者都传入 n_pad = 1，而仅有的两个使用者将其强制限制为 256。因此，可以删除该参数、相关成员以及那个显而易见为真的 kv_size 断言。 协助者：dsh:llama.cpp/ggml-org/Qwen3.8-Flash-Next-GGUF（MacBook，M5 Max，128GB） **网站：** - **证明材料：** - **macOS/iOS：** - [macOS Apple Silicon（arm64）](https://github.com/ggml-org/llama.cpp/releases/download/b11921/llama-b11921-bin-macos-arm64.tar.gz) - macOS Apple Silicon（arm64，启用 KleidiAI）[已禁用](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS Intel（x64）](https://github.com/ggml-org/llama.cpp/releases/download/b11921/llama-b11921-bin-macos-x64.tar.gz) - [iOS XCFramework](https://github.com/ggml-org/llama.cpp/releases/download/b11921/llama-b11921-xcfram)

b11919

opencl：优化矩阵乘法的ID-1索引（#31170） 由Codex协助 **网站：** - **证明材料：** - **macOS/iOS：** - [macOS Apple Silicon（arm64）](https://github.com/ggml-org/llama.cpp/releases/download/b11919/llama-b11919-bin-macos-arm64.tar.gz) - macOS Apple Silicon（arm64，已启用KleidiAI）[已禁用](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS Intel（x64）](https://github.com/ggml-org/llama.cpp/releases/download/b11919/llama-b11919-bin-macos-x64.tar.gz) - [iOS XCFramework](https://github.com/ggml-org/llama.cpp/releases/download/b11919/llama-b11919-xcframework.zip) **Linux：** - [Ubuntu x64（CPU）](https://github.com/ggml-org/llama.cpp/releases/download/b11919/llama-b11919-bin-ubuntu-x64.tar.gz) - [Ubuntu arm64（CPU）](https://github.com/ggml-org/llama.cpp/releases/download/b11)

b11918

opencl：首次支持 q3_k (#31172) * opencl：添加 q3_k AOS 移动 * opencl：添加 q3_k SOA 移动及分块矩阵乘法 * opencl：为 adreno 添加 q3_k 无混洗 gemm/gemv * opencl：为 adreno 添加 q3_k dp4a gemm 共同作者：王洪强 * opencl：针对 adreno 调优 q3_k 内核 共同作者：王洪强 --------- 共同作者：王洪强 **网站：** - **证明文件：** - **macOS/iOS：** - [macOS 苹果芯片（arm64）](https://github.com/ggml-org/llama.cpp/releases/download/b11918/llama-b11918-bin-macos-arm64.tar.gz) - macOS 苹果芯片（arm64，启用 KleidiAI）[已禁用](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS 英特尔（x64）](https://github.com/ggml-org/llama.cpp/releases/download/b11918/llama-b11918-bin-macos-x64.tar.gz) - [iOS XCFramework](https://github.com/ggml-org/ll)

vLLM 语义路由器发布 d3-ultra：一款 270 亿参数的开源多模态决策模型

vLLM 语义路由器发布了 d3-ultra，一款拥有 270 亿参数的开源多模态决策模型。它能够一次性读取文本、图像和视频，并为每个可能的答案返回概率，在该团队的 SR-Text 测试中取得了 87.2 分。原文“vLLM 语义路由器发布 d3-ultra：一款 270 亿参数的开源多模态决策模型”首发于 MarkTechPost。

LooseLeaf：为计算型笔记本电脑启用无服务器GPU

arXiv：2610.33275v1 发布类型：新 摘要：计算型笔记本会在整个会话期间独占一块GPU，然而GPU仅在单元格执行时进行计算，其余时间则处于空闲状态。无服务器执行模式可以在各单元格之间释放GPU资源，但在新的工作节点上重建累积的笔记本状态会对每个GPU单元格带来显著的开销。本文提出了一种面向交互式笔记本的无服务器GPU平台——LooseLeaf。LooseLeaf能够推导出每个单元格的状态及其导入闭包，即该单元格所需的最小变量与软件包集合。我们在5,000个真实世界笔记本上的分析表明，这些闭包规模很小，且用户对单元格的编辑操作只需数秒即可完成准备。LooseLeaf会在用户编辑单元格的同时，基于这些闭包为GPU工作节点做好准备。执行结束后，该工作节点…

云端的大型语言模型：关于架构、编排与推理的探讨

arXiv：2610.33475v1 发布类型：新 摘要：基础大型语言模型（LLM）在云数据中心的广泛部署，标志着从无状态深度学习向分布式、内存密集型生成式工作负载的根本性范式转变。然而，在严格的服务水平目标（SLO）下为大规模基础模型提供服务，会暴露出关键的物理与系统瓶颈。这些挑战包括持续存在的高带宽内存（HBM）墙、计算密集型预填充与内存带宽受限的解码之间的运行不对称、键值（KV）缓存的爆炸式增长、代价高昂的无服务器冷启动，以及硬件可靠性方面的漏洞。现有的文献综述仍局限于各层次的孤立视角，未能将底层加速器的虚拟化与集群……

DualPace：用于大语言模型推理的解耦调度与GPU-CPU协同解码

arXiv：2610.33501v1 发布类型：新 提要：大型语言模型（LLM）的推理服务依赖于批处理以提升推理吞吐量，但键值（KV）缓存会随序列长度增长，从而限制了GPU上的并发度。通过CPU卸载，可以利用主机内存扩展KV缓存容量，然而现有系统在很大程度上仍受GPU瓶颈制约：只有当GPU调度器能够提供合适的重叠机会时，CPU驻留的请求才能取得进展。因此，主机内存与CPU计算无法作为独立的推理资源发挥作用，导致负载下CPU端进度波动加剧，并使尾部词间延迟（ITL）显著增加。我们提出了DualPace，一种将主机转变为独立调度解码引擎的LLM推理运行时。DualPace在两个引擎之间划分了调度权：GPU引擎

b11913

hexagon：添加 GGML_HEXAGON_VTCM_SIZE（#31221）* hexagon：添加 GGML_HEXAGON_VTCM_MB 和 GGML_HEXAGON_NTHREADS 限制条件 变更 ID：Idffe1613c8db6f96aa842d43d1b2efaed45462a8 * hexagon：将 VTCM 限制条件重命名为 GGML_HEXAGON_VTCM_SIZE，移除 NTHREADS 限制条件 变更 ID：If4c5b9ce9fd6b725c3561421c2295d40599d012d * hexagon：使 GGML_HEXAGON_VTCM_SIZE 成为可覆盖项，并支持 K/M/G 后缀 变更 ID：Ib8eea84c22f24e6d986b37f215e504b046478c2c **网站：** - **证明文件：** - **macOS/iOS：** - [macOS Apple Silicon（arm64）](https://github.com/ggml-org/llama.cpp/releases/download/b11913/llama-b11913-bin-macos-arm64.tar.gz) - macOS Apple Silicon（arm64，启用 KleidiAI）[已禁用](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS Intel（x64）](https://github.com/ggml-org/llama.cpp/releases/download/b11913/llama-b)

b11912

llama：为 laguna 启用 moe amax 重新缩放（#31147）* llama：为 laguna 启用 moe amax 重新缩放 由 Devin 提供协助 * llama：声明支持 laguna sm 张量 **网站：** - **证明文件：** - **macOS/iOS：** - [macOS Apple Silicon（arm64）](https://github.com/ggml-org/llama.cpp/releases/download/b11912/llama-b11912-bin-macos-arm64.tar.gz) - macOS Apple Silicon（arm64，已启用 KleidiAI）[已禁用](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS Intel（x64）](https://github.com/ggml-org/llama.cpp/releases/download/b11912/llama-b11912-bin-macos-x64.tar.gz) - [iOS XCFramework](https://github.com/ggml-org/llama.cpp/releases/download/b11912/llama-b11912-xcframework.zip) **Linux：** - [Ubuntu x64（CPU）](https://github.com/ggml-org/llama.cpp/releases/download/b11912/llama-b11912-bin-u)

Anthropic 正在燃烧天然气以支撑人工智能的蓬勃发展

在准备上市之际，Anthropic提交的S-1文件使生成式AI对甲烷的依赖暴露无遗。“在获取电力供应以及具备充足电力保障的数据中心选址方面，竞争十分激烈。”在周一提交给美国证券交易委员会的文件中，Anthropic承认，数据中心正日益依赖“天然气”[…]