要旨：エキスパート並列型混合エキスパート（MoE）のサービスにおいて、ディスパッチは各トークンを対応するエキスパートをホストするアクセラレータへ送り、コンバインは各トークンの所有者にエキスパートの出力を集約して返します。これらの両操作はクリティカルパス上に位置し、マルチノード環境ではMoE層のレイテンシを大きく左右します。本稿では、ディスパッチとコンバインをネットワークスイッチにオフロードし、これら2つの集合通信を相互に、さらにエキスパート計算と重ね合わせるエキスパート並列型MoE層であるINC-MoEを提案します。ディスパッチではスイッチ側のマルチキャストを用いたインネットワークAllGatherを、コンバインではスイッチ側の削減を用いたインネットワークReduceScatterをそれぞれ利用します。両方の集合通信は、エンドホストとスイッチ間でメッセージセマンティクスを採用しています。インネットワーク集合通信は各リンクの伝送方向が互いに逆であるため、同時に実行することで、リングベースの同時実行型集合通信に比べて帯域幅制限による通信時間を$(N-2)/(2(N-1))$短縮できます。これは、4ノードの場合で33％、8ノードの場合で43％の削減に相当します。
INC-MoEは、トークンを帯に分割し、単一の永続的なカーネル内で、3段階のAllGather–Feed-Forward Network（FFN）–ReduceScatterパイプラインを通じて処理します。定常状態では、役割に特化したスレッドブロックが次の帯を収集し、現在の帯を計算するとともに、直前の帯を同時に削減するため、各集合通信と計算をデバイス側の同期を用いて重ね合わせています。INC-MoEは、vLLMのMoE層に対するドロップイン置換として統合可能です。私たちは、ネットワーク内コンピューティング（INC）スイッチをエミュレートした専用アクセラレータを備えた、4ノードのスケールアウト構成のエミュレーション環境で評価を行いました。OLMoEのプリフィルにおいて4ウェイのエキスパート並列性を用いた場合、INC-MoEはvLLMのデフォルトの集合通信経路に比べて、最初のトークン到着までの時間（TTFT）を最大33％短縮し、スループットを最大50％向上させつつ、出力結果は同等です。
投稿履歴
論文へのアクセス：
PDFを表示
HTML（実験的）
TeXソース
追加機能
音声要約
現在の閲覧コンテキスト：
参考文献・引用
Google Scholar
Semantic Scholar
ブックマーク
機関
arXivLabsは、共同作業者が当社のウェブサイト上で新しいarXiv機能を直接開発・共有できるフレームワークです。
arXivLabsを利用する個人および組織は、オープン性、コミュニティ、卓越性、そしてユーザーデータのプライバシーという当社の価値観を積極的に受け入れ、尊重しています。arXivはこれらの価値観に固くコミットしており、それらを遵守するパートナーのみと協力しています。
arXivのコミュニティに価値をもたらすプロジェクトのアイデアをお持ちですか？arXivLabsについて詳しくご覧ください。