本文へ移動
AI NEWS JOURNAL
AI, IN PERSPECTIVE

AI ニュースを検索

見出し・要約・本文から、情報のつながりを探します。

公開日時順

INC-MoE:エキスパート並列型混合専門家推論における、ネットワーク内コレクティブの重複と専門家計算

arXiv:2610.36339v1 発表タイプ:新規 要旨:エキスパート並列型混合専門家(MoE)のサービスにおいて、ディスパッチは各トークンをその選択された専門家が配置されているアクセラレータへ送り、コンバインは各トークンの所有者に専門家の出力を集約して返します。これら両操作はクリティカルパス上に位置し、マルチノード環境ではMoE層のレイテンシを大きく左右します。本研究では、ディスパッチとコンバインをネットワークスイッチにオフロードし、さらに両コレクティブを相互に、および専門家計算と重ね合わせるエキスパート並列型MoE層であるINC-MoEを提案します。ディスパッチはスイッチ側のマルチキャストによるネットワーク内AllGatherを用い、コンバインはスイッチ側のリダクションによるネットワーク内ReduceScatterを用います。両コレクティブとも、エンドホストとスイッチ間でメッセージセマンティクスを利用します。なお、ネットワーク内コレクティブはそれぞれ逆方向に負荷をかけるため

経緯と関連報道

Waypoint:CPU向けGEMMの解析的モデリング

arXiv:2610.34914v1 発表タイプ:新規 要旨:高性能な一般行列乗算(GEMM)実装は、ピーク性能を達成するために、GEMMを慎重に選定されたタイルに分割することに依存しています。本稿では、特定のハードウェアおよび入力行列の形状に対して最適なタイルサイズを自動的に特定する新しい解析モデルであるWaypointを提案します。Waypointは、メモリ階層との相互作用、命令レベルの並列性、マルチスレッド処理など、あらゆるアーキテクチャ上の影響を捉えることで、与えられたタイル選択における達成可能な性能を推定します。この推定値を指標として用い、考えられるタイルサイズの空間を探索し、性能を最大化するものを特定します。さらに、Waypointはハードウェア設計者が実験的なハードウェア最適化に対する現実的な性能を見積もるのにも役立ちます。

経緯と関連報道

ブロッキングを伴わない監視:協調型ランタイム向けOTPスタイルのフォールトトレランスのエビデンス主導型再設計

arXiv:2610.34521v1 発表タイプ:新規 要旨:主流のランタイム上のアクターフレームワークは、Erlang/OTPスタイルの監督を謳っていますが、OTPの整合性契約は同期的でシングルスレッドの監督者を前提としており、ポートもその前提の欠如を未検証のリスクとして引き継いでいます。私たちは、固定されたリビジョンにおけるさらに3つのRust製アクターフレームワークのソースと、文言通りに読んだOTPのドキュメントおよびソースコードを基に、各監督保証を評価し、それぞれの設計決定の裏付けとなる証拠を記録しました。盲目的な対抗審査とフレームワーク間の比較研究により、24種類の不具合クラスが浮き彫りになり、そのうち8つは単一の根本原因に帰着します。すなわち、同期的な監督者が暗黙的に得ているアトミック性を、明示的なメカニズムによって再構築している点です。私たちは、監督実行時環境を導入します…

経緯と関連報道