b12207
在 ggml-cuda 的 SSM_SCAN 内核中，已为 d_state=64 添加了一条新的快速路径，通过消除该状态大小下的 CPU 回退，将 Zamba2-7B-Instruct 的生成吞吐量从 11 tok/s 提升至 15.1 tok/s——约提升 35%。该更改已使用真实的 Zamba2 超参数进行了验证，并保持了正确性；不过，由于一个尚未诊断的问题，仍有 28% 的 scan 调用会回退到 CPU。
AI NEWS JOURNAL
搜索 AI 资讯
检索标题、摘要与正文，把分散的信息连起来。
借助 NVIDIA NemoClaw，在您掌控的堆栈上构建专用智能体
构建一个自主智能体需要模型、工具包以及领域特定的工具。为了更安全地部署智能体，开发者还需要一个能够强制执行……的运行时环境。
AnyLanguageModel 1.0发布：支持本地与托管模型的统一Swift接口，适配Apple平台全系OS 27
Hugging Face正式发布AnyLanguageModel 1.0，提供与Apple Foundation Models API完全兼容的开源Swift框架，支持本地（MLX、llama.cpp、Core ML）及托管（OpenAI、Anthropic、Gemini、Hugging Face Inference Providers等）模型无缝切换，并新增图像输入、工具调用、引导式生成、推理块自动适配等特性。