要旨：現代のGPUを用いたデータセンターにおける計算能力の向上により、一部の大手企業が膨大なデータを用いて大規模言語モデル（LLM）の学習および展開を行うことが可能になっています。しかし、これらのモデルとその学習データの圧倒的な規模は、集中型の開発体制を維持することをますます困難にするとともに、関連するプライベートデータを保有しながら同等のインフラを備えない小規模な機関を排除しています。本論文では、分散型LLM学習に関する当方針を、事前学習および微調整のパラダイムを中心に整理し、フェデレーテッド学習、スプリット学習、そして分散型アプローチを取り上げ、それらが異種ハードウェアや信頼性の低い接続環境下で地理的に分散された設定に対応できるかどうかを評価します。さらに、アウトバウンドのgRPC接続を通じて多様なクライアントを協調させるクラウドホスト型のパラメータサーバーを中核とする「統一」システムアーキテクチャを提案し、事前学習と一連の微調整手法の両方に同一の通信・圧縮・耐障害性スタックを再利用します。本設計を、複数の大学キャンパス間で実施したGPT-2 MediumおよびLlama3-1Bの事前学習に関する実際の地理的分散実験によって検証し、現実的な条件下でも安定した収束を示しました。最後に、今後の展望を示し、フロンティアなモデルサポート、弾力的な耐障害性、適応型圧縮、フェデレーテッドなアラインメント、プライバシーと信頼、インセンティブ設計、さらにはシステムとアルゴリズムの共同設計といった幅広い分野にまたがる未解決の課題を指摘します。これらすべての課題を解決してこそ、民主化されたLLM学習の実現が可能となるのです。
投稿履歴
論文へのアクセス：
PDFを表示
HTML（実験的）
TeXソース
追加機能
音声要約
現在の閲覧コンテキスト：
参考文献・引用
Google Scholar
Semantic Scholar
ブックマーク
機関
arXivLabsは、共同作業者が当社のウェブサイト上で新しいarXiv機能を直接開発・共有できるフレームワークです。
arXivLabsを利用する個人および組織は、オープン性、コミュニティ、卓越性、そしてユーザーデータのプライバシーという当社の価値観を積極的に受け入れ、尊重しています。arXivはこれらの価値観に固くコミットしており、それらを遵守するパートナーのみと協力しています。
arXivのコミュニティに価値をもたらすプロジェクトのアイデアをお持ちですか？arXivLabsについて詳しくご覧ください。