AI ニュースを検索

見出し・要約・本文から、情報のつながりを探します。

2026-10-27

arXiv cs.DC12:00

TMAを使用するべきタイミングと理由：NVIDIA Hopper GPUにおけるテンソルメモリアクセラレーションのワークロードに基づく特性評価

arXiv:2610.34907v1 発表タイプ：新規要旨：NVIDIA Hopperで導入されたテンソルメモリアクセラレータ（TMA）は、実運用のGPUカーネルにおいて広く用いられているにもかかわらず、その使用状況は極めて選択的である。CUTLASS、FlashAttention-3、FlashInferなどの専門的なカーネル開発者たちは、カーネル内の一部のテンソルオペランドに対してTMAを適用する一方で、他のオペランドについてはcp.asyncや直接グローバルロード、あるいは分散共有メモリ（DSM）に回帰している。ベンダーのドキュメントではAPIが説明され、最近のマイクロベンチマークによる研究ではTMAのスループットが単独で評価されているが、実際の実務者が直面する問いにはいずれも答えられていない。すなわち、カーネル内で特定のメモリオペランドが存在する場合、それをTMAで処理すべきなのか、また、もしTMAを使うならクラスタマルチキャストを併用すべきか否かという問題である。本研究では、H100を対象としたワークロードに基づく特性評価を通じて、このギャップに取り組む。我々はTMAの利用状況を体系的に整理し、多

経緯と関連報道

arXiv cs.DC12:00

LooseLeaf：計算ノートブック向けのサーバーレスGPUを実現

arXiv:2610.33275v1 発表タイプ：新規要旨：計算ノートブックはセッション全体にわたってGPUを占有しますが、GPUが計算を行うのはセルが実行中であるときだけで、それ以外の時間はアイドル状態となります。サーバーレス実行であれば、セル間でGPUを解放できますが、新しいワーカー上で蓄積されたノートブックの状態を再構築するには、各GPUセルごとに大きなコストが伴います。本論文では、対話型ノートブック向けのサーバーレスGPUプラットフォームであるLooseLeafを提案します。LooseLeafは、各セルの状態とインポートクロージャー、すなわちそのセルが必要とする最小限の変数やパッケージを導出します。実世界のノートブック5,000件に対する分析から、これらのクロージャーは非常に小さく、ユーザーによるセルの編集によっても、準備に要する時間は数秒程度であることが示されました。LooseLeafは、ユーザーがセルを編集している間に、これらのクロージャーを用いてGPUワーカーを準備します。実行後、ワーカーは…

経緯と関連報道

arXiv cs.DC12:00

クラウドにおける大規模言語モデル：アーキテクチャ、オーケストレーション、推論に関する議論

arXiv:2610.33475v1 発表タイプ：新規要旨：クラウドデータセンターにおける基盤となる大規模言語モデル（LLM）の広範な導入は、ステートレスなディープラーニングから分散型でメモリ集約的な生成ワークロードへと、根本的なパラダイムシフトを示しています。しかし、厳しいサービスレベル目標（SLO）の下で巨大な基盤モデルを運用するには、重要な物理的およびシステム上のボトルネックが露呈します。これらの課題には、依然として克服されていない高帯域幅メモリ（HBM）の壁、計算負荷に依存するプリフィル処理とメモリ帯域幅に制約されるデコード処理との間の運用上の非対称性、急増するキー・バリュー（KV）キャッシュの膨張、コスト面で非常に負担の大きいサーバーレス環境でのコールドスタート、さらにはハードウェアの信頼性に関する脆弱性などが含まれます。既存の文献レビューは依然として層ごとの分断状態にあり、低レベルのアクセラレータ仮想化とクラスター間の統合が切り離されたままです。

経緯と関連報道

arXiv cs.DC12:00

DualPace：大規模言語モデルの推論における、非同期スケジューリングとGPU–CPU協調デコード

arXiv:2610.33501v1 発表タイプ：新規要旨：大規模言語モデル（LLM）のサービスでは、推論スループットを向上させるためにバッチ処理が用いられるが、キー値（KV）キャッシュはシーケンス長に応じて増大し、GPU上での並行処理能力を制限する要因となっている。CPUオフロードによりホストメモリを活用してKV容量を拡張することは可能だが、既存のシステムは依然として大部分がGPUに依存しており、CPU上に常駐するリクエストが進捗するのは、GPUスケジューラが適切なオーバーラップの機会を提供した場合に限られる。その結果、ホストメモリとCPU計算は独立したサービス資源として機能せず、負荷下ではCPU側の進捗が断続的になり、末端のトークン間遅延（ITL）が過剰に増大するという問題が生じる。本稿では、ホストを独立してスケジュール可能なデコードエンジンへと変える、LLM向けの実行時環境であるDualPaceを提案する。DualPaceは、スケジューリング権限を二つのエンジン間に分割し、GPUエンジン

経緯と関連報道