本文へ移動
AI NEWS JOURNAL
AI, IN PERSPECTIVE

AI ニュースを検索

見出し・要約・本文から、情報のつながりを探します。

公開日時順

INC-MoE:エキスパート並列型混合専門家推論における、ネットワーク内コレクティブの重複と専門家計算

arXiv:2610.36339v1 発表タイプ:新規 要旨:エキスパート並列型混合専門家(MoE)のサービスにおいて、ディスパッチは各トークンをその選択された専門家が配置されているアクセラレータへ送り、コンバインは各トークンの所有者に専門家の出力を集約して返します。これら両操作はクリティカルパス上に位置し、マルチノード環境ではMoE層のレイテンシを大きく左右します。本研究では、ディスパッチとコンバインをネットワークスイッチにオフロードし、さらに両コレクティブを相互に、および専門家計算と重ね合わせるエキスパート並列型MoE層であるINC-MoEを提案します。ディスパッチはスイッチ側のマルチキャストによるネットワーク内AllGatherを用い、コンバインはスイッチ側のリダクションによるネットワーク内ReduceScatterを用います。両コレクティブとも、エンドホストとスイッチ間でメッセージセマンティクスを利用します。なお、ネットワーク内コレクティブはそれぞれ逆方向に負荷をかけるため

経緯と関連報道

ヤコビアンレンズの数学的理論

arXiv:2610.31955v1 発表タイプ:新規 要旨:Anthropicによる最近の研究では、ジャコビアンレンズ(J-lens、Gurneeら、2026年)と呼ばれる新たな解釈可能性ツールが導入されました。この手法は、最先端の言語モデルの隠れ状態において、作業記憶に類似した表現を想起させる性質を持つ線形方向を特定しました。しかし、こうした特徴がJ-lensによって検出可能となるメカニズム的特性については依然として不明です。そこで本研究では、J-lensの数学的理論を提案し、同理論が特に一貫性のある特徴――すなわち、空間的に一貫したリヤプノフモードのように働く方向――を優先的に識別することを示します。これらの方向に沿った微小な摂動は層を跨いで増幅し、トークン位置間でほぼ一定に保たれ、異なる文脈間でも一貫しています。一方でw

新闻源配图 · arXiv cs.LG
経緯と関連報道

GLPネットワーキングAPI仕様

arXiv:2610.32583v1 発表タイプ:クロス 要旨:マルチエージェント確定的GLP(madGLP)は、非同期メッセージ送信のみで通信するエージェントとしてグラスルーツ論理プログラム(GLP)を実行し、公平な配信を前提としています。すなわち、送信されたすべてのメッセージは最終的に必ず配信されます。各エージェントは個人のスマートフォン上で動作し、その識別子は本人の公開鍵によって指定されます。グラスルーツ型プラットフォームは、ネットワーク以外にグローバルなリソースを必要としないため、エージェント間の通信はBluetooth Low Energyやローカルネットワーク、さらにはNAT越しにインターネット経由で、誰でも運用可能なランデブーサーバーを通じて行われなければなりません。このようなネットワークがmadGLPに対して何を要求し、またネットワーク自身がプラットフォームに対して何を要求するのかについては、これまで明確に定義されていませんでした。そこで、私たちはmadGLPの下層に位置するネットワーキング層を規定します。GLPで実現可能なことはすべてGLPで実現されるため、この層が提供するのはあくまで

経緯と関連報道

研究は、アクティベーション干渉がツール使用モデルにおいて条件の再利用を困難にすることを明らかにした

同論文は2026年10月26日、arXivに掲載され(ID: 2610.31686)、Qwen3.5-27Bモデルを基に、時間依存型または権限による資格判定を要するツールの利用タスクにおいて、活性化介入が「条件の再利用」能力に与える影響を体系的に検証した。実験の結果、介入は目標選択の正確性を顕著に向上させる一方で、事実と識別子の再構成シナリオでは一般化が失敗し、候補者の資格に関する独立した判断の改善には至らないことが示された。

From Target Selection to Condition Reuse: Auditing Residual Interventions in Tool-Use Models

注目する理由:本研究は、『目標選択の制御』『条件に対する敏感な判断』『完全な動作の正しさ』という三つの能力を初めて明確に区別し、出力結果のみを最適化するだけでは、モデルが介入によって設定された条件(例えば時間や権限)を真に理解し再利用できるとは限らないことを示した。これは、信頼性の高いツールの呼び出しや制御可能なAIシステムの設計において、方法論的な警鐘となる重要な知見である。

経緯と関連報道