AI 自动翻译
摘要：现代GPU数据中心日益强大的计算能力，使少数行业巨头得以在海量数据上训练并部署大型语言模型（LLMs）。然而，这些模型及其训练数据的庞大规模，使得集中式开发愈发难以持续，同时也将那些掌握相关隐私数据但缺乏同等基础设施的小型机构排除在外。本文围绕预训练与微调两大范式，系统梳理了我们在分布式LLM训练方面的立场，涵盖联邦学习、分割学习以及去中心化方法，并评估了它们在异构硬件与不稳定网络连接的地理分布式环境中的适用性。随后，我们提出了一种以云端托管的参数服务器为核心的“统一”系统架构，该架构通过出站gRPC连接协调异构客户端，为预训练及一系列微调方法复用同一套通信、压缩与容错机制。我们通过在多所高校站点开展的GPT-2 Medium与Llama3-1B预训练的实地地理分布式实验验证了这一设计，在真实场景下实现了稳定的收敛。最后，我们展望未来，指出了若干亟待解决的开放性问题，涉及前沿模型支持、弹性容错、自适应压缩、联邦对齐、隐私与信任、激励机制设计，以及系统与算法的协同设计等，唯有逐一攻克，方能推动LLM训练的民主化成为现实。
提交历史
访问 Paper：
查看PDF
HTML（实验性）
TeX 源代码
附加功能
音频摘要
当前浏览上下文：
参考文献与引用
谷歌学术
语义学者
书签
机构
arXivLabs 是一个框架，允许合作者直接在我们的网站上开发并共享新的 arXiv 功能。
无论是个人还是与 arXivLabs 合作的机构，都已认同并践行我们所倡导的开放、社区、卓越以及用户数据隐私等价值观。arXiv 致力于坚守这些价值观，并且只与同样秉持这些理念的合作伙伴开展合作。
您是否有一个能为 arXiv 社区创造价值的项目构想？欢迎了解更多关于 arXivLabs 的信息。