b12207
在 ggml-cuda 的 SSM_SCAN 内核中，已为 d_state=64 添加了一条新的快速路径，通过消除该状态大小下的 CPU 回退，将 Zamba2-7B-Instruct 的生成吞吐量从 11 tok/s 提升至 15.1 tok/s——约提升 35%。该更改已使用真实的 Zamba2 超参数进行了验证，并保持了正确性；不过，由于一个尚未诊断的问题，仍有 28% 的 scan 调用会回退到 CPU。
AI NEWS JOURNAL
搜索 AI 资讯
检索标题、摘要与正文，把分散的信息连起来。
FenixWalk：面向异构架构的大规模动态图自适应采样
arXiv:2611.04683v1 公告类型：新 基础摘要：随机游走是图分析的基础，但在大型动态图上高效执行仍具挑战。现有方法需在采样效率、更新开销和内存消耗之间权衡。为吞吐量优化的采样结构往往带来显著的内存开销和高昂的维护成本，而轻量级方案在高度数顶点或权重分布偏斜时又可能面临较高的采样延迟。这些挑战在异构CPU-GPU平台上尤为突出：主机内存容量充足，但GPU内存限制了可从并行加速中获益的图数据量。我们提出了FenixWalk，一个面向大规模动态图的内存高效随机游走系统，将统一的原地采样与选择性GPU加速相结合。核心上，FenixWalk采用原地Fenwick表示，无需复制边级权重存储即可支持拒绝采样和逆变换采样。该表示使拒绝采样具备期望O(1)的权重查询时间，并支持O(log d)的前缀采样与更新。为高效利用异构硬件，FenixWalk将完整图及其采样结构保留在主机内存，同时将频繁重用的顶点本地采样器有选择地放置在GPU上。通过传输紧凑的游走器状态而非反复迁移图分区，该系统减少了跨设备通信，并有效利用了有限的GPU内存。在大型真实世界图及代表性随机游走工作负载上的实验表明，FenixWalk相较于现有随机游走系统实现了平均2.06倍至400.57倍的加速。
imec报告：面向人工智能时代的光互连技术规模化
对带宽的空前需求促使人们通过从根本上重新构想光互连路线图，将光学技术更紧密地集成到硅基芯片上。文章《imec报告：面向人工智能时代的光互连技术 scaling》首发于 Semiconductor Engineering。
DualPace：用于大语言模型推理的解耦调度与GPU-CPU协同解码
arXiv：2610.33501v1 发布类型：新 提要：大型语言模型（LLM）的推理服务依赖于批处理以提升推理吞吐量，但键值（KV）缓存会随序列长度增长，从而限制了GPU上的并发度。通过CPU卸载，可以利用主机内存扩展KV缓存容量，然而现有系统在很大程度上仍受GPU瓶颈制约：只有当GPU调度器能够提供合适的重叠机会时，CPU驻留的请求才能取得进展。因此，主机内存与CPU计算无法作为独立的推理资源发挥作用，导致负载下CPU端进度波动加剧，并使尾部词间延迟（ITL）显著增加。我们提出了DualPace，一种将主机转变为独立调度解码引擎的LLM推理运行时。DualPace在两个引擎之间划分了调度权：GPU引擎
华擎 Creator Radeon AI Pro R9700 评测：工作站级推理，AMD 风格
今天，我们来了解一下华擎面向工作站推出的高端Radeon AI推理卡——Creator Radeon AI Pro R9700。这款显卡配备32GB内存，售价1700美元，是为工作站添置本地AI推理能力的高性价比之选。文章《华擎Creator Radeon AI Pro R9700评测：AMD风格的工作站推理》首发于ServeTheHome。
Underdog Saluki 27B：基于GSQ-RCO的2比特Qwen3.8-27B工具调用模型技术解析
本文介绍Underdog发布的Saluki 27B模型——一款7.9 GB的2比特量化Qwen3.8-27B变体，采用ISTA-DASLab的GSQ-RCO方法构建，声称在120任务BFCL v4工具调用基准上超越原54 GB全精度模型；但所有性能结论均来自其开发者声明，未获独立验证。
Amazon SageMaker推出训练会话API：用户可编写自定义大模型训练循环，无需管理GPU
Amazon SageMaker发布训练会话（Training Sessions）API，支持用户以纯Python脚本实现SFT、RLHF、GRPO、KTO等自定义大模型训练逻辑，GPU资源调度、容错、分布式执行及检查点管理均由服务托管。