跳到正文
AI NEWS.ccAI正在发生 未来正在更新
资讯收藏
THE JOURNAL
AI NEWS JOURNAL
AI, IN PERSPECTIVE

搜索 AI 资讯

检索标题、摘要与正文，把分散的信息连起来。

按发布时间排序

llama.cpp releases

b12207

在 ggml-cuda 的 SSM_SCAN 内核中，已为 d_state=64 添加了一条新的快速路径，通过消除该状态大小下的 CPU 回退，将 Zamba2-7B-Instruct 的生成吞吐量从 11 tok/s 提升至 15.1 tok/s——约提升 35%。该更改已使用真实的 Zamba2 超参数进行了验证，并保持了正确性；不过，由于一个尚未诊断的问题，仍有 28% 的 scan 调用会回退到 CPU。