ISER-MoE：エキスパート並列処理における負荷分散のためのホットエキスパートのスイッチ内動的複製

要旨：専門家並列混合モデル（MoE）層は最も負荷の高いGPUの速度で動作し、一部のホットな専門家が過剰な負荷の大部分を担っています。各MoE層でそれらを複製しても負荷が均衡するのは、重みが層内に到着する場合に限られ、所有者からのブロードキャストがボトルネックとなります。ポイントツーポイントコピーはそれを過負荷にし、ベースラインブロードキャストではレイテンシまたは帯域幅のオーバーヘッドが発生します。そこで我々は、TensorRT-LLMに組み込まれたISER-MoE（In-Switch Expert Replication for MoE）を提案します。これはNVLinkスイッチを通じてホットな専門家を固定されたGPUグループへマルチキャストし、各バイトが所有者から一度だけ送出されるようにします。GPUスケジューラーは層ごとにホットな専門家をグループに割り当て、マルチポートブロードキャストにより注入がグループのポート間に分散され、これらは共有専門家と重なり合います。トレースリプレイにおいて、スケジューラーは過剰な負荷の98〜99％を削減しました。DeepSeek-V4-Proのプレフィルサービングでは、数学ベンチマークでスループットが17.4％向上し、エージェント系プロンプトでは7.2％向上しました。 投稿履歴 論文へのアクセス： PDFを表示 HTML（実験的） TeXソース 追加機能 音声要約 現在の閲覧コンテキスト： 参考文献・引用情報 Google Scholar Semantic Scholar ブックマーク 機関 arXivLabsは、共同研究者が当社のウェブサイト上で新しいarXiv機能を直接開発・共有できるフレームワークです。 arXivLabsを利用する個人および組織は、オープン性、コミュニティ、卓越性、ユーザーデータプライバシーという当社の価値観を積極的に受け入れています。arXivはこれらの価値観を堅持しており、それに準拠するパートナーのみと協力しています。 arXivのコミュニティに価値をもたらすプロジェクトのアイデアをお持ちですか？arXivLabsについて詳しく知る。