跳到正文
AI NEWS JOURNAL
ONE EVENT. MANY PERSPECTIVES.

llama.cpp 发布 b11866 版本:移除 Metal 后端冗余 AMAX 缩放逻辑,精简 MoE 计算路径

llama.cpp v.b11866 移除了 Metal 后端中已过时的 src1 power-of-two AMAX 缩放机制,转而依赖计算图内更精细的 per expert-token amax 缩放,确保 MoE 下投影激活值在 f16 表示范围内;同步删除相关两阶段归约核、F32 精度调度及越界测试用例。

1 个独立来源 · 1 篇报道切换最早在前 ↕
按发布时间排序

llama.cpp 发布 b11866 版本:移除 Metal 后端冗余 AMAX 缩放逻辑,精简 MoE 计算路径

llama.cpp v.b11866 移除了 Metal 后端中已过时的 src1 power-of-two AMAX 缩放机制,转而依赖计算图内更精细的 per expert-token amax 缩放,确保 MoE 下投影激活值在 f16 表示范围内;同步删除相关两阶段归约核、F32 精度调度及越界测试用例。

推荐理由:按信源设置仅收录,不参与自动精选

事件进展与其他报道