摘要：基础大型语言模型（LLM）在云数据中心的广泛部署，标志着从无状态深度学习向分布式、内存密集型生成式工作负载的根本性范式转变。然而，在严格的服务水平目标（SLO）下为大规模基础模型提供服务，会暴露出关键的物理与系统瓶颈。这些挑战包括持续存在的高带宽内存（HBM）墙、计算密集型预填充与内存带宽受限的解码之间的运行不对称、键值（KV）缓存的爆炸式增长、代价高昂的无服务器冷启动，以及硬件可靠性方面的漏洞。现有文献综述仍局限于各层孤立视角，未能将底层加速器虚拟化与集群编排及运行时推理有效衔接，且大多忽视了2024年至2026年期间的重要进展。为弥补上述不足，本研究基于2020版《系统综述与荟萃分析首选报告条目》（PRISMA）框架，开展了一项全面的跨层系统性综述。我们构建了一个统一的综合分类体系，整合了硬件虚拟化、集群级调度以及运行时推理优化，其中包括迭代级连续批处理、预填充—解码分离，以及分层KV缓存卸载等技术。此外，我们还评估了具备韧性的云原生服务架构，探讨了规模归零的无服务器模式、针对隐性数据损坏的容错检查点机制，以及通过硬件强制实现的可信执行环境（TEEs）以保障多租户隔离。最后，我们明确了决定吞吐量、延迟、经济成本与机密性之间权衡的多维度帕累托最优边界，并勾勒出一条涵盖Compute Express Link（CXL）的前瞻性研究路线图。 内存池化、内存计算以及自主多智能体控制平面，将为未来的云上大型语言模型基础设施提供指引。
提交历史
访问 Paper：
查看PDF
HTML（实验性）
TeX 源代码
附加功能
音频摘要
当前浏览上下文：
参考文献与引用
谷歌学术
语义学者
书签
机构
arXivLabs 是一个框架，允许合作者直接在我们的网站上开发并共享新的 arXiv 功能。
无论是个人还是与 arXivLabs 合作的机构，都已认同并践行我们所倡导的开放、社区、卓越以及用户数据隐私等价值观。arXiv 致力于坚守这些价值，并且只与同样秉持这些价值观的合作伙伴开展合作。
您是否有一个能为 arXiv 社区创造价值的项目构想？欢迎了解更多关于 arXivLabs 的信息。