AI ニュースを検索

FlatCake：大規模言語モデルのサービス向けフラットなKVキャッシュストレージアーキテクチャ

arXiv:2610.38355v1 発表タイプ：新規 要旨：KVキャッシュの再利用は大規模言語モデルのサービスを加速させるが、既存のシステムではホストのDRAMとNVMe SSDを階層的なヒエラルキーとして管理しており、DRAMが中間キャッシュとして機能している。しかし、実際の大規模言語モデルのワークロードは、この階層構造の二つの前提をいずれも破っている。第一に、バイモーダルな再利用によりDRAMの時間的フィルタリングが無効化される。というのも、ワークロードは長い再利用距離を持つワンショットブロックか、DRAM容量を超える数ギガバイト規模のエージェントセッションによって支配されており、その結果SSDが重要な読み取りパスに置かれているからである。第二に、DRAMによるステージングと、排出現象に基づくレイアウトがSSDの復元処理をボトルネックにしている。進行中のプレフィックスのためにホストのステージングバッファを保持すると、負荷下で競合が生じてプリフェッチが中断されてしまう一方で、段階的な排出現象によってセッション内のブロックがSSD全体に散らばり、大規模なシーケンシャルリードが妨げられる。我々は…

INC-MoE：エキスパート並列型混合専門家推論における、ネットワーク内コレクティブの重複と専門家計算

arXiv:2610.36339v1 発表タイプ：新規 要旨：エキスパート並列型混合専門家（MoE）のサービスにおいて、ディスパッチは各トークンをその選択された専門家が配置されているアクセラレータへ送り、コンバインは各トークンの所有者に専門家の出力を集約して返します。これら両操作はクリティカルパス上に位置し、マルチノード環境ではMoE層のレイテンシを大きく左右します。本研究では、ディスパッチとコンバインをネットワークスイッチにオフロードし、さらに両コレクティブを相互に、および専門家計算と重ね合わせるエキスパート並列型MoE層であるINC-MoEを提案します。ディスパッチはスイッチ側のマルチキャストによるネットワーク内AllGatherを用い、コンバインはスイッチ側のリダクションによるネットワーク内ReduceScatterを用います。両コレクティブとも、エンドホストとスイッチ間でメッセージセマンティクスを利用します。なお、ネットワーク内コレクティブはそれぞれ逆方向に負荷をかけるため

低ランク多線形分解によるLLMのハルシネーション検出

arXiv:2610.36191v1 公告タイプ：新規 要旨：大規模言語モデル（LLMs）は、流暢でありながら事実と一致しない応答を頻繁に生成し、その信頼性に対する懸念が高まっています。近年のハルシネーション検出手法は、内部表現を活用する傾向が強まっていますが、高次元の隠れ状態から有用な信号を抽出することは依然として困難です。既存のアプローチでは、選択された活性化値やプーリングベースの圧縮に依存することが多く、Transformer層、特徴モード、トークン全体に分散する識別力のある情報を見落としてしまう可能性があります。私たちは、LOTUS（Low-rank Order-statistic TUcker-based Subspace learning）を提案します。これは、ハルシネーション検出のための多線形低ランク分解フレームワークであり、LLMの隠れ状態からコンパクトな表現を抽出しつつ、ラベルへの依存度を低減します。

トランスフォーマーにおける証拠効果の因果的局所化

arXiv:2610.36524v1 公告タイプ：新規 要旨：制御された記号入力は、自然言語による証拠から言語モデルの意思決定に影響を与える注意ヘッドを明らかにすることができるのか？我々は、制御された証拠集約（CEA）を提案する。これは、他の部分が固定されたプロンプトにおいて、二つの記号の出現回数と順序を変化させ、凍結されたトランスフォーマーが二つの回答トークンの間で示す選好の変化を測定する手法である。選好は両者のロジット差によって測定され、プロンプト自体には正解が指定されていない。バランスド・ユーティリティ・カウサル・セレクション（BUC）は、各ヘッドの出力を除去した際にカウント効果がどの程度消失するか、またカウント条件間で平均出力を補間することで両方向に効果がどの程度回復するかを同時に評価することにより、コンパクトなヘッド集合を特定する。さらに、ヘッドの帰属と介入との間に結びつく条件付き上限を導出する。

KORA：AIワークロード向けの決定論優先実行制御

arXiv:2610.35869v1 発表タイプ：新規 要旨：AIアプリケーションは、推論が必要かどうかを判断する前にしばしばモデルを呼び出します。このデフォルト設定は曖昧な生成タスクには有用ですが、構造化され、決定論的で、方針に基づき、照会中心、あるいは直接検証可能な作業には適していません。KORAは、決定論優先の実行制御を導入します。これは、リクエストをタスクパスとして表現し、まず決定論的または構造化された経路を試行し、その結果を検証し、テレメトリを記録した上で、決定論的な処理だけでは不十分な場合にのみモデル候補への経路へとエスカレートする、事前推論用の制御層です。本論文では、KORAを決定論優先の実行制御アーキテクチャとして提示し、再現可能なベンチマークおよび検証ワークロードによる限定的な実証結果を報告します。再

フロンティアの大型言語モデルにおけるアッシュの同調性に関する定量的アプローチ

arXiv:2610.36668v1 公告タイプ：新規 要旨：アッシュの同調実験は、近年、大型言語モデル（LLMs）における同調性を測定する手法として大きな注目を集めています。これまでの研究では、主に大型言語モデルにおける同調性の実証に焦点が当てられてきましたが、本研究ではこのアプローチにさらに定量的な視点を加えています。具体的には、フロンティアの大型言語モデルに対して一連の質問を提示してサンプリングを行うのではなく、単一の質問を繰り返しサンプリングし、大型言語モデルの確率的特性を活用して回答の分布を生成します。これにより、モデルに人工的に作られたコンセンサスを提示する前後の回答分布を比較することが可能となります。実験の結果、フロンティアの大型言語モデルが実際に同調性を示すことを確認し、先行研究を裏付けるとともに、分布間の比較を通じて新たな知見を提供しています。

ヤコビアンレンズの数学的理論

arXiv:2610.31955v1 発表タイプ：新規 要旨：Anthropicによる最近の研究では、ジャコビアンレンズ（J-lens、Gurneeら、2026年）と呼ばれる新たな解釈可能性ツールが導入されました。この手法は、最先端の言語モデルの隠れ状態において、作業記憶に類似した表現を想起させる性質を持つ線形方向を特定しました。しかし、こうした特徴がJ-lensによって検出可能となるメカニズム的特性については依然として不明です。そこで本研究では、J-lensの数学的理論を提案し、同理論が特に一貫性のある特徴――すなわち、空間的に一貫したリヤプノフモードのように働く方向――を優先的に識別することを示します。これらの方向に沿った微小な摂動は層を跨いで増幅し、トークン位置間でほぼ一定に保たれ、異なる文脈間でも一貫しています。一方でw

クラウドにおける大規模言語モデル：アーキテクチャ、オーケストレーション、推論に関する議論

arXiv:2610.33475v1 発表タイプ：新規 要旨：クラウドデータセンターにおける基盤となる大規模言語モデル（LLM）の広範な導入は、ステートレスなディープラーニングから分散型でメモリ集約的な生成ワークロードへと、根本的なパラダイムシフトを示しています。しかし、厳しいサービスレベル目標（SLO）の下で巨大な基盤モデルを運用するには、重要な物理的およびシステム上のボトルネックが露呈します。これらの課題には、依然として克服されていない高帯域幅メモリ（HBM）の壁、計算負荷に依存するプリフィル処理とメモリ帯域幅に制約されるデコードとの間の運用上の非対称性、急増するキー・バリュー（KV）キャッシュの膨張、コスト面で非常に負担の大きいサーバーレス環境でのコールドスタート、さらにはハードウェアの信頼性に関する脆弱性などが含まれます。既存の文献レビューは依然として層ごとの分断状態にあり、低レベルのアクセラレーター仮想化とクラスター間の連携が切り離されたままです。

LeafSkill：再帰的LLMエージェント向けの効率的な葉レベルのアクション接地

arXiv:2610.32412v1 発表タイプ：新規 要旨：再帰型の大規模言語モデル（LLM）エージェントは、分解・実行・環境からのフィードバックを通じて長期的なタスクを解決する。しかし、原子的なサブタスクを生成した後、しばしば同じ大規模モデルを再度呼び出して、馴染みのある指示を実行可能なアクションに変換している。我々は、高レベルの計画はタスク固有である一方で、葉レベルのアクションの具現化はタスク間で繰り返され、環境が許容するアクションと照合可能であることを観察した。そこで、セマンティックに関連する具現化の経験を取得し、アクションテンプレートを現在のオブジェクトおよび許容されるアクションに結びつけ、軽量な17億パラメータの選択器によって結び付けられたアクションを選択するか、あるいは変更のないサブタスクを元のエージェントに委ねる外部再利用層であるLeafSkillを提案する。スキルは外部に留まり…

プレフィックスのキーと値は後から重要になる：ループ型言語モデルにおける自己推測デコード向けRIPEキャッシュ

arXiv:2610.34436v1 発表タイプ：新規 要旨：ループ型言語モデルは、各トークンに対して層のブロックを$R$回実行するため、そのキーバリューキャッシュ（KVキャッシュ）には各再帰層ごとに$R$個の平面が格納され、自己予測的デコーディング（一部のループで予備的に推論し、残りの$R$すべてで検証する手法）ではそれらすべてが読み込まれる。我々は、プレフィックスのキーとバリューが影響を及ぼすのは後半に集中していることを発見した。同程度の摂動サイズにおいて、ループ25〜32はループ2〜9に比べてそれぞれ$e^{15.0}$倍（Huginn-0125）および$e^{12.8}$倍（Raven-Llama）も敏感であり、各ループごとの平面数は0.88および0.81という比率で最終的な平面へと幾何級数的に近づいていく。そして、最も深い平面単独で十分かどうかは、後半の平面がどれほど成熟しているかに依存する。Ravenでは、それを保存するだけでbf16からfp32への変更と区別できない一方、Huginnでは、全体の誤差の74%をわずか1%の位置が占めている。これをRIPEに展開すると、最も深い…

パラメトリックセッション状態は、履歴を再再生することなく検索意図を復元する

arXiv:2610.33047v1 発表タイプ：新規 要旨：長時間にわたるアシスタントは、多くの対話ターン前に設定された指称対象や制約、および現在の目標を理解して、追跡的なリクエストを解釈することがしばしばあります。そのため、中心的な課題は文脈の長さだけでなく、検索意図そのものでもあります。たとえば、「前の構成を使用してください」という現在のクエリには、関連する証拠を見つけるために必要なプロジェクト、エンティティ、バージョンといった用語が含まれていない場合があります。長文対応モデルは、対話を再現することでこれらの用語を復元できますが、そのたびに履歴処理のコストを負担することになります。従来の検索強化型生成（RAG）手法はコスト面で優れていますが、情報が十分に提供されたクエリを前提としています。一方、会話形式でのリライト手法は、履歴を再度読み返すか、明示的に維持されるテキストメモリに依存します。そこで私たちは「パラメトリックセッション状態」を提案します。

トレードオフ意識型テリトリーデザイン：企業向け顧客–セラー割り当てのための多目的意思決定システム

arXiv:2610.31701v1 発表タイプ：新規 要旨：企業顧客の購買体験は、製品体験やマーケティングだけでなく、繰り返し行われるリソース配分の意思決定によっても形成されます。B2Bの市場参入（GTM）組織においては、テリトリーデザインが、どのアカウントにセラーのカバレッジを提供するか、どのセラー–アカウント関係を維持するか、そして限られたフィールドキャパシティをどのように配分するかを決定します。しかし、このプロセスは多くの場合手作業で行われるため、機会の比較や価値の継続性の評価、さらには成長・バランス・キャパシティ・実現可能性といった要素間のトレードオフの検討が困難です。本稿では、企業向けGTM計画におけるトレードオフ意識型の顧客–セラー割り当てを支援する運用意思決定システムを提案します。本システムは、予測信号を統合してスコアリングを行う多次元アカウント価値層を含む三つの主要コンポーネントを組み合わせています。

GLPネットワーキングAPI仕様

arXiv:2610.32583v1 発表タイプ：クロス 要旨：マルチエージェント確定的GLP（madGLP）は、非同期メッセージ送信のみで通信するエージェントとしてグラスルーツ論理プログラム（GLP）を実行し、公平な配信を前提としています。すなわち、送信されたすべてのメッセージは最終的に必ず配信されます。各エージェントは個人のスマートフォン上で動作し、その識別子は本人の公開鍵によって指定されます。グラスルーツ型プラットフォームは、ネットワーク以外にグローバルなリソースを必要としないため、エージェント間の通信はBluetooth Low Energyやローカルネットワーク、さらにはNAT越しにインターネット経由で、誰でも運用可能なランデブーサーバーを通じて行われなければなりません。このようなネットワークがmadGLPに対して何を要求し、またネットワーク自身がプラットフォームに対して何を要求するのかについては、これまで明確に定義されていませんでした。そこで、私たちはmadGLPの下層に位置するネットワーキング層を規定します。GLPで実現可能なことはすべてGLPで実現されるため、この層が提供するのはあくまで

StackGen3D：多視点シルエットからの安定な3Dブロック積み上げ生成

arXiv:2610.31803v1 発表タイプ：新規 要旨：視覚的仕様から物理的に安定した3D構造を生成するには、幾何学的曖昧さを解消しつつ、物体間の物理的相互作用を考慮する必要があります。本研究では、与えられたブロックの在庫と3つの正投影シルエットを条件として、安定なブロック組み立てを生成するフレームワークStackGen3Dを提案します。我々の手法は二段階から成ります。まず、ブロック間の支持関係をモデル化し、安定性の迅速な予測器として機能する、物理情報に基づくグラフニューラルネットワーク（PI-GNN）を開発し、多様な安定構造のデータセットを収集します。次に、このデータセットを用いて条件付きフローマッチングモデルを学習し、目標とするシルエットに一致するブロック配置の多モード分布を捉えます。推論時には、軽

研究は、アクティベーション干渉がツール使用モデルにおいて条件の再利用を困難にすることを明らかにした

同論文は2026年10月26日、arXivに掲載され（ID: 2610.31686）、Qwen3.5-27Bモデルを基に、時間依存型または権限による資格判定を要するツールの利用タスクにおいて、活性化介入が「条件の再利用」能力に与える影響を体系的に検証した。実験の結果、介入は目標選択の正確性を顕著に向上させる一方で、事実と識別子の再構成シナリオでは一般化が失敗し、候補者の資格に関する独立した判断の改善には至らないことが示された。

注目する理由：本研究は、『目標選択の制御』『条件に対する敏感な判断』『完全な動作の正しさ』という三つの能力を初めて明確に区別し、出力結果のみを最適化するだけでは、モデルが介入によって設定された条件（例えば時間や権限）を真に理解し再利用できるとは限らないことを示した。これは、信頼性の高いツールの呼び出しや制御可能なAIシステムの設計において、方法論的な警鐘となる重要な知見である。