补丁版本 v5.22.2
此补丁版本包含安全增强和分布式修复，例如仅为 NCCL 设置 device_id 以及强化 Jinja 沙箱机制。完整变更详情请参阅提交日志。
AI NEWS JOURNAL
搜索 AI 资讯
检索标题、摘要与正文，把分散的信息连起来。
FlatCake：一种用于大语言模型推理的扁平化KV缓存存储架构
arXiv:2610.38355v1 发布类型：新摘要：KV缓存复用能够加速大语言模型的推理，但现有系统将主机DRAM和NVMe SSD视为分层结构，其中DRAM充当中间缓存。然而，实际的大语言模型工作负载打破了这一分层结构的两个前提。首先，双模态复用使DRAM的时间过滤失效，因为工作负载要么由具有较长复用距离的一次性块主导，要么由超过DRAM容量的数GB级智能体会话主导，从而将SSD置于关键的读取路径上。其次，DRAM的暂存与按驱逐顺序布局导致SSD恢复出现瓶颈。为在途前缀保留主机暂存缓冲区会在负载下引发争用，进而中止预取操作；而增量式驱逐则会将会话的块分散到整个SSD上，阻碍大规模顺序读取。我们 p
通过低秩多线性分解进行大语言模型幻觉检测
arXiv：2610.36191v1 发布类型：新 摘要：大型语言模型（LLMs）经常生成流畅但事实错误的回复，这引发了对其可靠性的担忧。近期的幻觉检测方法越来越多地利用内部表示，但从高维隐藏状态中提取有效信息仍然充满挑战。现有方法往往依赖于特定激活或基于池化的压缩方式，可能忽略了分布在Transformer各层、特征模式和标记中的判别性信息。我们提出了LOTUS（基于低秩顺序统计TUcker的子空间学习），这是一种用于幻觉检测的多线性低秩分解框架，能够在降低对标签依赖的同时，从LLM的隐藏状态中提取紧凑的表示。
InferSlice：一种面向电信广域网的、由SLO驱动的LLM推理参考架构
arXiv：2610.32638v1 发布类型：新 摘要：大型语言模型（LLM）推理正日益作为企业和交互式应用的核心服务被部署，但主权、合规、延迟以及资源本地化等方面的要求，可能限制集中式云部署的适用性。电信运营商提供地理分布式的计算与网络基础设施，以应对这些约束。然而，现有的 LLM 服务框架主要面向紧密耦合的数据中心设计，对协调地理分布且异构的资源支持有限。我们提出了 InferSlice，一种面向电信基础设施、以服务等级目标（SLO）为导向的 LLM 推理参考架构，集成了网络切片、GPU 分区、弹性服务与可观测性等功能。
通过边缘端实现大语言模型训练的民主化：挑战、系统与未来之路
arXiv：2610.32215v1 发布类型：新 摘要：现代GPU数据中心日益强大的算力，使少数几家行业巨头得以在海量数据上训练并部署大型语言模型（LLMs）。然而，这些模型及其训练数据的庞大规模，使得集中式开发越来越难以为继，同时也将那些拥有相关私有数据但缺乏同等基础设施的小型机构拒之门外。本文围绕预训练与微调两大范式，梳理了我们在分布式LLM训练方面的立场，涵盖联邦学习、分割学习以及去中心化方法，并评估了它们在异构硬件与连接不稳定等地理分布式环境中的适用性。随后，我们提出了一种{\em 统一}的系统