b12207
在 ggml-cuda 的 SSM_SCAN 内核中,已为 d_state=64 添加了一条新的快速路径,通过消除该状态大小下的 CPU 回退,将 Zamba2-7B-Instruct 的生成吞吐量从 11 tok/s 提升至 15.1 tok/s——约提升 35%。该更改已使用真实的 Zamba2 超参数进行了验证,并保持了正确性;不过,由于一个尚未诊断的问题,仍有 28% 的 scan 调用会回退到 CPU。
检索标题、摘要与正文,把分散的信息连起来。
在 ggml-cuda 的 SSM_SCAN 内核中,已为 d_state=64 添加了一条新的快速路径,通过消除该状态大小下的 CPU 回退,将 Zamba2-7B-Instruct 的生成吞吐量从 11 tok/s 提升至 15.1 tok/s——约提升 35%。该更改已使用真实的 Zamba2 超参数进行了验证,并保持了正确性;不过,由于一个尚未诊断的问题,仍有 28% 的 scan 调用会回退到 CPU。
Simplismart表示,其年化收入增速在六个月内增长了14倍,其中美国市场贡献了超过一半的收入。
对带宽的空前需求促使人们通过从根本上重新构想光互连路线图,将光学技术更紧密地集成到硅基芯片上。文章《imec报告:面向人工智能时代的光互连技术 scaling》首发于 Semiconductor Engineering。
在准备上市之际,Anthropic提交的S-1文件使生成式AI对甲烷的依赖暴露无遗。“在获取电力供应以及具备充足电力保障的数据中心选址方面,竞争十分激烈。”在周一提交给美国证券交易委员会的文件中,Anthropic承认,数据中心正日益依赖“天然气”[…]
苹果终结二十年触控抵制,首款触屏OLED MacBook Pro定档发布,成为特努斯接任CEO后首个硬件答卷;Meta自由现金流转为-21亿美元,7600亿美元行业资本支出迎盈亏平衡审判;谷歌以1070兆瓦虚拟电厂重构数据中心供能,特斯拉自研AI地图弃用谷歌;Anthropic被指静默削弱Claude Opus 5.5逆向能力;亚马逊、Meta、OpenAI以50美元级AI硬件切入可穿戴赛道。
黑石AI业务负责人贾斯·卡伊拉在TechCrunch Disrupt大会上表示,市场对AI基础设施领域巨额债务的恐慌被过度放大;其核心论据是:债务主要由高信用等级客户(如微软、Meta)的长期合同支撑,且底层资产(GPU等)具备强抵押价值,风险结构与2008年银行体系有本质区别。