云端的大型语言模型：关于架构、编排与推理的探讨

arXiv：2610.33475v1 发布类型：新 摘要：基础大型语言模型（LLM）在云数据中心的广泛部署，标志着从无状态深度学习向分布式、内存密集型生成式工作负载的根本性范式转变。然而，在严格的服务水平目标（SLO）下为大规模基础模型提供服务，会暴露出关键的物理与系统瓶颈。这些挑战包括持续存在的高带宽内存（HBM）墙、计算密集型预填充与内存带宽受限的解码之间的运行不对称、键值（KV）缓存的爆炸式增长、代价高昂的无服务器冷启动，以及硬件可靠性方面的漏洞。现有的文献综述仍局限于各层次的孤立视角，未能将底层加速器的虚拟化与集群……