AI ニュースを検索

GPUにおけるカーネル外最適化の性能ポータビリティ：分子ドッキングのケーススタディ

arXiv:2611.06207v1 発表タイプ：新規 要旨：繰り返し実行されるマルチカーネルGPUパイプラインとして構築された不規則な科学アプリケーションにおいては、スループットがカーネルの効率と同程度にカーネル外の判断に依存するため、性能の移植性を実現するのは困難である。分子ドッキングを代表的なケーススタディとして取り上げ、バッチングポリシー、ワーカーの並行度、および各ワーカーごとのメモリ割り当てを明示的な最適化パラメータとして扱うカーネル外チューニング手法を提案する。この手法では、バックエンド依存の占有率主導型の選択を、明示的なリソース制約に基づくより移植性の高い実行戦略に置き換える。本手法をmuDockミニアプリに実装し、マネージャ/ワーカー実行モデル下で複数のホストワーカーが独立したストリームを通じてGPUを共有する環境を構築した。その後、NVIDIA、AMD、Intelの各GPUに対し、CUDA、HIP、SYCLの実装上で評価を行った。評価対象となったすべてのプラットフォーム/バックエンドの組み合わせにおいて、メモリ制約に基づく定式化は占有率主導型のベースラインのピークスループットを上回った。完全にチューニングされた本手法は、テストしたすべての構成でエンドツーエンドのスループットを向上させ、ベースラインに対して平均1.53倍の高速化を達成した。

短時間フーリエ変換の並列実装に関する比較研究

arXiv:2610.38069v1 公開タイプ：新規 要旨：短時間フーリエ変換（STFT）は、長時間信号の短い時間窓に対するフーリエ変換を計算し、周波数が時間とともにどのように変化するかを特徴づける手法である。フーリエ変換アルゴリズム、特に高速フーリエ変換（FFT）アルゴリズムは、並列計算を活用するために十分に発展しているが、短時間フーリエ変換の並列アルゴリズムの性能に関する研究はまだ限られている。本研究では、FFTベースのアルゴリズムと準並列型のフィードフォワードアルゴリズムという二つの並列短時間フーリエ変換アルゴリズムを実装し、相互に比較・分析した。その結果、並行度が低い環境下では準並列型アルゴリズムの方が実行時間が短いものの、…

異種性はいつ効果を発揮するのか？GPUとWSEシステムの相補性の理解

arXiv:2610.39222v1 発表タイプ：新規 要旨：AIアクセラレータのアーキテクチャがますます多様化する中、異なるアーキテクチャを統一されたシステムに統合することが、新たな異種計算のパラダイムとして浮上している。GPUとWSEは、演算、メモリ、通信の組織形態において大きく異なり、これによりアーキテクチャ間の相補性と追加のオーバヘッドが生じる一方で、この異種性をいかにして実用的な性能向上へと結びつけるかは依然として不明である。このギャップを解消するため、我々はGPU–WSEの異種実行および相補性を活用する条件を評価する階層的ベンチマーク手法を提案するとともに、異種性がボトルネックとなる場合とシステムレベルで性能向上をもたらす場合を特定する解析的性能モデルを提示する。

ヤコビアンレンズの数学的理論

arXiv:2610.31955v1 発表タイプ：新規 要旨：Anthropicによる最近の研究では、ジャコビアンレンズ（J-lens、Gurneeら、2026年）と呼ばれる新たな解釈可能性ツールが導入されました。この手法は、最先端の言語モデルの隠れ状態において、作業記憶に類似した表現を想起させる性質を持つ線形方向を特定しました。しかし、こうした特徴がJ-lensによって検出可能となるメカニズム的特性については依然として不明です。そこで本研究では、J-lensの数学的理論を提案し、同理論が特に一貫性のある特徴――すなわち、空間的に一貫したリヤプノフモードのように働く方向――を優先的に識別することを示します。これらの方向に沿った微小な摂動は層を跨いで増幅し、トークン位置間でほぼ一定に保たれ、異なる文脈間でも一貫しています。一方でw

SLICE-Mem：効率的なLLMエージェントメモリのための、顕著性ゲート付き軽量情報キュレーション

arXiv:2610.33015v1 発表タイプ：新規 要旨：長期記憶は、大規模言語モデル（LLM）エージェントが個別化されかつ時間的に一貫した対話を維持することを可能にするが、記憶の取り込み・抽出・整理のためにLLMによる推論を繰り返すと、大きなコストと遅延が生じる。本研究では、顕著性に基づく取り込みと述語中心の情報抽出を組み合わせた軽量な記憶フレームワークSLICE-Memを提案する。コンパクトな分類器が保持すべきユーザの発話ターンを識別し、意味依存関係に基づく抽出器が取り込まれたターンを簡潔な記憶エントリに変換する。このオンライン処理パイプラインは生成型LLMへの呼び出しを一切必要とせず、エントリ間の照合はオフラインの統合段階に委ねられる。我々はMemoraおよびLongMemEval-Sの週次サブセットに対して、8B aを用いてSLICE-Memを評価する。

TMAを使用するべきタイミングと理由：NVIDIA Hopper GPUにおけるテンソルメモリアクセラレーションのワークロードに基づく特性評価

arXiv:2610.34907v1 発表タイプ：新規 要旨：NVIDIA Hopperで導入されたテンソルメモリアクセラレータ（TMA）は、実運用のGPUカーネルにおいて広く用いられているにもかかわらず、その使用状況は極めて選択的である。CUTLASS、FlashAttention-3、FlashInferなどの専門的なカーネル開発者たちは、カーネル内の一部のテンソルオペランドに対してTMAを適用する一方で、他のオペランドについてはcp.asyncや直接グローバルロード、あるいは分散共有メモリ（DSM）に回帰している。ベンダーのドキュメントではAPIが説明され、最近のマイクロベンチマークによる研究ではTMAのスループットが単独で評価されているが、実際の実務者が直面する問いにはいずれも答えられていない。すなわち、カーネル内で特定のメモリオペランドが存在する場合、それをTMAで処理すべきなのか、また、もしTMAを使うならクラスタマルチキャストを併用すべきか否かという問題である。本研究では、H100を対象としたワークロードに基づく特性評価を通じて、このギャップに取り組む。我々はTMAの利用状況を体系的に整理し、多

Waypoint：CPU向けGEMMの解析的モデリング

arXiv:2610.34914v1 発表タイプ：新規 要旨：高性能な一般行列乗算（GEMM）実装は、ピーク性能を達成するために、GEMMを慎重に選定されたタイルに分割することに依存しています。本稿では、特定のハードウェアおよび入力行列の形状に対して最適なタイルサイズを自動的に特定する新しい解析モデルであるWaypointを提案します。Waypointは、メモリ階層との相互作用、命令レベルの並列性、マルチスレッド処理など、あらゆるアーキテクチャ上の影響を捉えることで、与えられたタイル選択における達成可能な性能を推定します。この推定値を指標として用い、考えられるタイルサイズの空間を探索し、性能を最大化するものを特定します。さらに、Waypointはハードウェア設計者が実験的なハードウェア最適化に対する現実的な性能を見積もるのにも役立ちます。

状態空間符号化による線形時間コンテキスト圧縮

arXiv:2610.33006v1 発表タイプ：新規 要旨：Transformerベースの大型言語モデル（LLMs）は、コンテキストサイズが増加するにつれて計算負荷とメモリ消費が大幅に増大するため、推論前にコンテキストをより短い表現に圧縮する手法が求められています。既存のソフトプロンプト圧縮手法は、通常、対象モデルと同じTransformerバックボーンを用いており、圧縮表現の生成には大きなレイテンシオーバーヘッドが生じます。このため、これらの手法は、コンテキストを一度圧縮して多数のクエリで再利用するオフライン環境に限定されています。私たちは、Mamba状態空間モデル（SSM）に基づくプラグアンドプレイ型のオンラインコンテキスト圧縮器「Boa Compressor」を提案します。これは任意長のコンテキストを単一の線形時間のパスで符号化し、その結果得られた表現を基に…

Nemotron 3.5 Bolt 74B-A9B 24GB：ローカルAI向けのハイブリッド視覚言語モデル

arXiv:2610.33039v1 発表タイプ：新規 要旨：私たちは、ローカルなエージェント型ワークロードにおいて、使用するメモリ1GBあたりの速度と知能を最適化したハイブリッドMamba-Transformer視覚言語モデルであるNemotron 3.5 Bolt 74B-A9B 24GBを紹介します。Nemotron 3.5 Super VL 120B-A12Bモデルファミリーを基に構築されたNemotron 3.5 Bolt 74B-A9B 24GBは、メモリ制約下での展開向けに、Star Elastic圧縮と2ビット量子化-aware蒸留を組み合わせています。本モデルは推論、エージェントによるツール利用、およびウェブや端末との対話に最適化されています。また、当社は本モデルと同時にリリースされるLiLiCorrスペキュラティブドラフト生成器も訓練し、目標とする推論速度の達成を目指しました。その結果得られたモデルは、一般的なエージェント型タスクに関する多数のベンチマークにおいて、同程度のメモリフットプリントと速度を持つ最先端モデルよりも高い精度を実現しています。

証拠に基づく直感：マルチモーダルエージェントのための適応型デュアルメモリ

arXiv:2610.33019v1 発表タイプ：新規 要旨：マルチモーダルエージェントが持続的な相互作用を行う際、長期記憶は細粒度の証拠の想起と、全体的理解のための内面化された解釈という、二つの明確でありながら補完的な機能を果たす。エピソード記憶と潜在記憶はそれぞれ、明示的な履歴記録と内面化された経験を通じてこれらの要求に対応しているものの、エピソード記憶における証拠の網羅性と統合の限界、および潜在記憶における事実の基盤形成の限界により、いずれのパラダイムだけではタスク間で多様な記憶特性を十分に捉えることはできない。このギャップを埋めるために、我々はデュアルメモリフレームワークを提案する。これは、モデル固有の潜在記憶を直感的な事前分布として統合し、同時に複数インデックスを持つエピソード記憶を用いて、検索条件に基づく共同アライメントによって正確な証拠の再構築を実現するものである。At i

クラウドにおける大規模言語モデル：アーキテクチャ、オーケストレーション、推論に関する議論

arXiv:2610.33475v1 発表タイプ：新規 要旨：クラウドデータセンターにおける基盤となる大規模言語モデル（LLM）の広範な導入は、ステートレスなディープラーニングから分散型でメモリ集約的な生成ワークロードへと、根本的なパラダイムシフトを示しています。しかし、厳しいサービスレベル目標（SLO）の下で巨大な基盤モデルを運用するには、重要な物理的およびシステム上のボトルネックが露呈します。これらの課題には、依然として克服されていない高帯域幅メモリ（HBM）の壁、計算負荷に依存するプリフィル処理とメモリ帯域幅に制約されるデコードとの間の運用上の非対称性、急増するキー・バリュー（KV）キャッシュの膨張、コスト面で非常に負担の大きいサーバーレス環境でのコールドスタート、さらにはハードウェアの信頼性に関する脆弱性などが含まれます。既存の文献レビューは依然として層ごとの分断状態にあり、低レベルのアクセラレーター仮想化とクラスター間の連携が切り離されたままです。

自分のものか、相手のものか？心を通わせる言語モデルは、互いの記憶を自らのものとして受け取る

arXiv:2610.33020v1 発表タイプ：新規 要旨：もし自分の脳が他人の脳と直接つながっていたら、どの考えが自分のものなのか、まだ分かるだろうか？私たちは、同一の言語モデルを二つ用意し、その機能版を構築した。それぞれがプライベートなルールとコードワードを保持し、一方のコピー（受信者）は、もう一方の内部メモリにも注意を払う。受信者は、パートナーの割り当てを自らのものとして受け取った。パートナーの記憶に重みを倍にして与えた場合（リンクなしではゼロ）、パートナーの記憶を問われた際には、回答の97％でパートナーのものを挙げた。また、オープンな報告においても、受信者はパートナーのコードワードを自らのものと呼び、決して相手のものとはしなかった。所有権は、受信者がパートナーの割り当てをどれほど正確に識別できるかとは関係なかった。重みを等しくした場合、リンクによって受信者はパートナーのルールを約半分の確率で自らのものとして受け取った。

プレフィックスのキーと値は後から重要になる：ループ型言語モデルにおける自己推測デコード向けRIPEキャッシュ

arXiv:2610.34436v1 発表タイプ：新規 要旨：ループ型言語モデルは、各トークンに対して層のブロックを$R$回実行するため、そのキーバリューキャッシュ（KVキャッシュ）には各再帰層ごとに$R$個の平面が格納され、自己予測的デコーディング（一部のループで予備的に推論し、残りの$R$すべてで検証する手法）ではそれらすべてが読み込まれる。我々は、プレフィックスのキーとバリューが影響を及ぼすのは後半に集中していることを発見した。同程度の摂動サイズにおいて、ループ25〜32はループ2〜9に比べてそれぞれ$e^{15.0}$倍（Huginn-0125）および$e^{12.8}$倍（Raven-Llama）も敏感であり、各ループごとの平面数は0.88および0.81という比率で最終的な平面へと幾何級数的に近づいていく。そして、最も深い平面単独で十分かどうかは、後半の平面がどれほど成熟しているかに依存する。Ravenでは、それを保存するだけでbf16からfp32への変更と区別できない一方、Huginnでは、全体の誤差の74%をわずか1%の位置が占めている。これをRIPEに展開すると、最も深い…

DualPace：大規模言語モデルの推論における、非同期スケジューリングとGPU–CPU協調デコード

arXiv:2610.33501v1 発表タイプ：新規 要旨：大規模言語モデル（LLM）のサービスでは、推論スループットを向上させるためにバッチ処理が用いられるが、キー値（KV）キャッシュはシーケンス長に応じて増大し、GPU上での並行処理能力を制限する要因となっている。CPUオフロードによりホストメモリを活用してKV容量を拡張することは可能だが、既存のシステムは依然として大部分がGPUに依存しており、CPU上に常駐するリクエストが進捗するのは、GPUスケジューラが適切なオーバーラップの機会を提供した場合に限られる。その結果、ホストメモリとCPU計算は独立したサービス資源として機能せず、負荷下ではCPU側の進捗が断続的になり、末端のトークン間遅延（ITL）が過剰に増大するという問題が生じる。本稿では、ホストを独立してスケジュール可能なデコードエンジンへと変える、LLM向けの実行時環境であるDualPaceを提案する。DualPaceは、スケジューリング権限を二つのエンジン間に分割し、GPUエンジン

パラメトリックセッション状態は、履歴を再再生することなく検索意図を復元する

arXiv:2610.33047v1 発表タイプ：新規 要旨：長時間にわたるアシスタントは、多くの対話ターン前に設定された指称対象や制約、および現在の目標を理解して、追跡的なリクエストを解釈することがしばしばあります。そのため、中心的な課題は文脈の長さだけでなく、検索意図そのものでもあります。たとえば、「前の構成を使用してください」という現在のクエリには、関連する証拠を見つけるために必要なプロジェクト、エンティティ、バージョンといった用語が含まれていない場合があります。長文対応モデルは、対話を再現することでこれらの用語を復元できますが、そのたびに履歴処理のコストを負担することになります。従来の検索強化型生成（RAG）手法はコスト面で優れていますが、情報が十分に提供されたクエリを前提としています。一方、会話形式でのリライト手法は、履歴を再度読み返すか、明示的に維持されるテキストメモリに依存します。そこで私たちは「パラメトリックセッション状態」を提案します。

FlexA-Mem：LLMエージェント向けの予算適応型エージェンティックメモリ

arXiv:2610.33274v1 公開タイプ：新規 要旨：大規模言語モデル（LLM）エージェントは、非常に多様なメモリニーズを抱えるシナリオで動作します。過去の会話に関する質問には、その文脈で明示された正確な事実が必要であり、一方で複数ステップからなるタスクでは、次のステップが特定できない詳細とともに、これまでに踏んだ手順の記録も必要です。既存のメモリはそれぞれ特定のシナリオ向けに設計・検証されており、A-Memのような検索型メモリでは現在のクエリが表現していない手順を見落とし、要約では正確な文字列が失われ、さらに両者を組み合わせても、予算の分割状態はあらかじめ固定されてしまいます。そこで私たちは、履歴の各単位を不変ストアに一度書き込み、各呼び出しごとに新たなメモリを生成する汎用的なメモリであるFlexA-Memを提案します。生成されるメモリは、固定ルールに基づいてフィルタリングされた記録と詳細情報から構成されるコンパクトなタイムラインです。

InferSlice：通信事業者の広域ネットワーク上でのSLO主導型LLM推論向けリファレンスアーキテクチャ

arXiv:2610.32638v1 発表タイプ：新規 要旨：大規模言語モデル（LLM）の推論は、企業向けおよび対話型アプリケーションの基幹サービスとしてますます導入されていますが、主権・コンプライアンス・遅延・リソースの局所性といった要件により、集中型クラウド展開の適応性が制限されることがあります。通信事業者は、これらの制約に対処するため、地理的に分散した計算およびネットワークインフラを提供しています。しかし、既存のLLMサービスフレームワークは、緊密に結合されたデータセンター向けに設計されており、地理的に分散し多様なリソースの調整には十分なサポートを提供していません。そこで私たちは、通信事業者インフラ上でサービスレベル目標（SLO）主導型のLLM推論を実現するためのリファレンスアーキテクチャであるInferSliceを提案します。本アーキテクチャは、ネットワークスライシング、GPUパーティショニング、エラスティックなサービス提供、ならびに可観測性を統合しています。

定常状態の実行プリミティブとしての移行：低軌道における仮想的静止性のためのランタイム

arXiv:2610.32720v1 発表タイプ：新規 要旨：低軌道（LEO）衛星メガコンステレーションは、遅延が極めて重要な地球中心型アプリケーション向けに軌道上のエッジコンピューティングを実現するが、衛星の運動により視線通信の窓はわずか数分間にまで圧縮される。論理的な地理的近接性を維持するため、仮想的静止性（VS）と呼ばれるパラダイムでは、アプリケーションはコンステレーション内を通過する衛星間を継続的に移動しなければならない。従来のライブ移行メカニズムは、個別に開始されたリロケーションや複製を最適化するものだが、軌道運動によって必要とされる連続的なホスト間の引き継ぎには対応していない。我々は、ライブ移行を定常状態の実行モデルとして再定式化し、新たな仮想的静止性ランタイムパラダイムを提案する。さらに、連続的な移行の実現可能性を形式的に定式化し…

SpecMemはリアルタイムのツール呼び出しによるメモリ管理メカニズムを提案し、エージェントの応答速度を向上させます

arXivは2026年10月26日、『SPECMEM: Accelerating Agentic Tool Calling via Live Memory Management』という題名のプレプリント論文（番号2610.31840v1）を公開し、SpecMemと呼ばれる新システムを提案しました。このシステムは、セッション間で動作するオンライン更新可能なユーザーレベルのツール呼び出し用メモリ管理により、ツール呼び出しの遅延を大幅に低減します。

注目する理由：本研究は、現行のツール呼び出しエージェントがデプロイ時に自己帰納的復号によって生じる高遅延の問題に着目し、検証可能な書き戻し、LRU淘汰、副作用制御などの主要技術を提案しました。さらに、複数ユーザー・複数セッションにわたる実際のクエリフローにおいてその有効性を実証しており、最大で実測1.74倍の高速化と平均27％の受容トークン数の向上を達成しています。これはAIシステム工学の分野における重要な進展です。

ミュオンの前処理はいつ、どのように行われるのか？構造化された勾配ノイズの役割

arXiv:2610.31728v1 発表タイプ：新規 要旨：ミュオンは大規模言語モデルの学習において人気の最適化手法となっているが、その理論的基盤は依然として十分に解明されていない。本研究では、勾配ノイズの幾何学的特性がミュオンの前処理による利点をどのように形成するかを検討する。まず、古典的な等方性ノイズ仮定のもとでは、ミュオンは学習率の再スケーリング以上の加速効果をもたらさないことを理論的および実験的に示す。これを受けて、私たちは異種タスクの発生頻度を持つ連想記憶におけるミニバッチサンプリングから生じる構造化されたノイズについて調査を開始した。二つのタスクに対する正確なバランス閾値を導出し、さらに複数タスクへの拡張を通じて、タスクカバレッジと勾配の信頼性がいかに協働して学習を形作るかを明らかにする。我々の分析によれば、ミュオンは…を緩和できることが示される。