エッジによるLLMトレーニングの民主化：課題、システム、そして今後の展望

arXiv:2610.32215v1 発表タイプ：新規 要旨：現代のGPUデータセンターにおける計算能力の向上により、一部の産業界の大手企業が膨大なデータを用いて大規模言語モデル（LLMs）の学習および展開を行うことができるようになりました。しかし、これらのモデルとその学習データの圧倒的な規模は、集中型の開発体制を維持することをますます困難にするとともに、関連するプライベートデータを保有しながらも同等のインフラを備えない小規模な機関を排除しています。本論文では、分散型LLM学習に関する当該分野の立場を、事前学習および微調整のパラダイムを中心に整理し、フェデレーテッド学習、スプリット学習、そして分散型アプローチを取り上げ、それらが異種ハードウェアや信頼性の低い接続環境といった地理的に分散した設定においてどの程度実用可能かを評価します。さらに、我々は「統一された」システムを提案します…