搜索 AI 资讯

b12207

在 ggml-cuda 的 SSM_SCAN 内核中，已为 d_state=64 添加了一条新的快速路径，通过消除该状态大小下的 CPU 回退，将 Zamba2-7B-Instruct 的生成吞吐量从 11 tok/s 提升至 15.1 tok/s——约提升 35%。该更改已使用真实的 Zamba2 超参数进行了验证，并保持了正确性；不过，由于一个尚未诊断的问题，仍有 28% 的 scan 调用会回退到 CPU。