搜索 AI 资讯

b12207

在 ggml-cuda 的 SSM_SCAN 内核中，已为 d_state=64 添加了一条新的快速路径，通过消除该状态大小下的 CPU 回退，将 Zamba2-7B-Instruct 的生成吞吐量从 11 tok/s 提升至 15.1 tok/s——约提升 35%。该更改已使用真实的 Zamba2 超参数进行了验证，并保持了正确性；不过，由于一个尚未诊断的问题，仍有 28% 的 scan 调用会回退到 CPU。

llama.cpp 发布 b11868 版本：增强 Hexagon NPU 多核 Flash Attention 支持，覆盖全平台编译构建

llama.cpp v2.45.0（标签 b11868）正式发布，核心更新为 Hexagon 后端引入 KV-head 团队拆分机制以优化多核 HMX Flash Attention 性能，并统一 FA 拆分控制标志；同步提供 macOS、Linux、Windows、Android、iOS 及 openEuler 等全平台二进制包，含 CUDA 12/13、Vulkan、ROCm、OpenVINO、SYCL、Snapdragon（Adreno+Hexagon）等多后端支持。

推荐理由：按信源设置仅收录，不参与自动精选

llama.cpp 发布 b11867 版本：服务端入口重构，全面支持多平台与异构加速后端

llama.cpp 于 GitHub 正式发布 b11867 版本，核心变更包括服务端（server）入口点重构（PR #31113），新增 server_role 机制；同时提供覆盖 macOS、Linux、Windows、Android、iOS 及 openEuler 的 40+ 预编译二进制包，支持 CPU、CUDA（12.4/12.8/13.4）、Vulkan、ROCm 10.0、OpenVINO、SYCL（FP16/FP32）、Snapdragon（Adreno+Hexagon）等多元硬件后端。

推荐理由：按信源设置仅收录，不参与自动精选

llama.cpp 发布 b11865 版本：新增 RDMA 接收边界检查，支持 CUDA 13.4、ROCm 10.0、Snapdragon NPU 等多平台后端

llama.cpp 项目发布构建版本 b11865，核心变更包括在 RDMA 接收逻辑中增加内存边界检查（PR #30399），并显著扩展硬件加速支持，覆盖 CUDA 13.4、ROCm 10.0、Vulkan、OpenVINO、SYCL 及高通 Snapdragon（CPU+Adreno+Hexagon）全栈异构计算后端；macOS KleidiAI 支持与 openEuler 构建被明确标记为 DISABLED。

推荐理由：按信源设置仅收录，不参与自动精选