クラウドにおける大規模言語モデル：アーキテクチャ、オーケストレーション、推論に関する議論
arXiv:2610.33475v1 発表タイプ：新規 要旨：クラウドデータセンターにおける基盤となる大規模言語モデル（LLM）の広範な導入は、ステートレスなディープラーニングから分散型でメモリ集約的な生成ワークロードへと、根本的なパラダイムシフトを示しています。しかし、厳しいサービスレベル目標（SLO）の下で巨大な基盤モデルを運用するには、重要な物理的およびシステム上のボトルネックが露呈します。これらの課題には、依然として克服されていない高帯域幅メモリ（HBM）の壁、計算負荷に依存するプリフィル処理とメモリ帯域幅に制約されるデコードとの間の運用上の非対称性、急増するキー・バリュー（KV）キャッシュの膨張、コスト面で非常に負担の大きいサーバーレス環境でのコールドスタート、さらにはハードウェアの信頼性に関する脆弱性などが含まれます。既存の文献レビューは依然として層ごとの分断状態にあり、低レベルのアクセラレーター仮想化とクラスター間の連携が切り離されたままです。
