ISER-MoE：エキスパート並列処理における負荷分散のためのホットエキスパートのスイッチ内動的複製
arXiv:2611.09008v1 発表タイプ：新規 要旨：エキスパート並列型混合专家（MoE）層は、最も負荷の高いGPUの速度で動作し、一部のホットなエキスパートが過剰な負荷の大部分を担っています。各MoE層でそれらを複製しても、重みが層内に到着する場合にのみ負荷が均衡し、所有者からのブロードキャストがボトルネックとなります。ポイントツーポイントコピーはそれを過負荷にし、ベースラインのブロードキャストではレイテンシや帯域幅のオーバーヘッドが発生します。そこで我々は、TensorRT-LLMに組み込まれたISER-MoE（In-Switch Expert Replication for MoE）を提案します。これはNVLinkスイッチを通じてホットなエキスパートを固定されたGPUグループへマルチキャストすることで、各バイトが所有者から一度だけ送出されるようにします。GPUスケジューラーは層ごとにホットなエキスパートをグループに割り当て、マルチポートブロードキャストにより注入をグループのポート間に分散させ、これらは共有エキスパートと重ね合わせて行われます。トレースリプレイにおいて、スケジューラーは過剰な負荷の98〜99%を削減しました。DeepSeek-V4-Proのプレフィルサービングにおいては、数学ベンチマークでスループットが17.4%向上し、エージェント系プロンプトでは7.2%向上しました。