b12207
在 ggml-cuda 的 SSM_SCAN 内核中，已为 d_state=64 添加了一条新的快速路径，通过消除该状态大小下的 CPU 回退，将 Zamba2-7B-Instruct 的生成吞吐量从 11 tok/s 提升至 15.1 tok/s——约提升 35%。该更改已使用真实的 Zamba2 超参数进行了验证，并保持了正确性；不过，由于一个尚未诊断的问题，仍有 28% 的 scan 调用会回退到 CPU。
AI NEWS JOURNAL
搜索 AI 资讯
检索标题、摘要与正文，把分散的信息连起来。
llama.cpp 发布 b11866 版本：移除 Metal 后端冗余 AMAX 缩放逻辑，精简 MoE 计算路径
llama.cpp v.b11866 移除了 Metal 后端中已过时的 src1 power-of-two AMAX 缩放机制，转而依赖计算图内更精细的 per expert-token amax 缩放，确保 MoE 下投影激活值在 f16 表示范围内；同步删除相关两阶段归约核、F32 精度调度及越界测试用例。
推荐理由：按信源设置仅收录，不参与自动精选
llama.cpp 发布 b11861 版本：修复 minimax-m3 模型量化缩放张量未传递导致的推理异常
llama.cpp v.b11861 修复了 minimax-m3 模型在 NVFP4/MXFP8 量化下因 scale 张量未注入计算图而导致的权重失真问题，避免‘token soup’与残差淹没；同步提供覆盖 macOS、Linux、Windows、Android、iOS 及 openEuler 的多平台二进制构建。
推荐理由：按信源设置仅收录，不参与自动精选