見出し・要約・本文から、情報のつながりを探します。
arXiv:2610.39222v1 発表タイプ：新規 要旨：AIアクセラレータのアーキテクチャがますます多様化する中、異なるアーキテクチャを統一されたシステムに統合することが、新たな異種計算のパラダイムとして浮上している。GPUとWSEは、演算、メモリ、通信の組織形態において大きく異なり、これによりアーキテクチャ間の相補性と追加のオーバヘッドが生じる一方で、この異種性をいかにして実用的な性能向上へと結びつけるかは依然として不明である。このギャップを解消するため、我々はGPU–WSEの異種実行および相補性を活用する条件を評価する階層的ベンチマーク手法を提案するとともに、異種性がボトルネックとなる場合とシステムレベルで性能向上をもたらす場合を特定する解析的性能モデルを提示する。
arXiv:2610.34907v1 発表タイプ：新規 要旨：NVIDIA Hopperで導入されたテンソルメモリアクセラレータ（TMA）は、実運用のGPUカーネルにおいて広く用いられているにもかかわらず、その使用状況は極めて選択的である。CUTLASS、FlashAttention-3、FlashInferなどの専門的なカーネル開発者たちは、カーネル内の一部のテンソルオペランドに対してTMAを適用する一方で、他のオペランドについてはcp.asyncや直接グローバルロード、あるいは分散共有メモリ（DSM）に回帰している。ベンダーのドキュメントではAPIが説明され、最近のマイクロベンチマークによる研究ではTMAのスループットが単独で評価されているが、実際の実務者が直面する問いにはいずれも答えられていない。すなわち、カーネル内で特定のメモリオペランドが存在する場合、それをTMAで処理すべきなのか、また、もしTMAを使うならクラスタマルチキャストを併用すべきか否かという問題である。本研究では、H100を対象としたワークロードに基づく特性評価を通じて、このギャップに取り組む。我々はTMAの利用状況を体系的に整理し、多
arXiv:2610.33475v1 発表タイプ：新規 要旨：クラウドデータセンターにおける基盤となる大規模言語モデル（LLM）の広範な導入は、ステートレスなディープラーニングから分散型でメモリ集約的な生成ワークロードへと、根本的なパラダイムシフトを示しています。しかし、厳しいサービスレベル目標（SLO）の下で巨大な基盤モデルを運用するには、重要な物理的およびシステム上のボトルネックが露呈します。これらの課題には、依然として克服されていない高帯域幅メモリ（HBM）の壁、計算負荷に依存するプリフィル処理とメモリ帯域幅に制約されるデコードとの間の運用上の非対称性、急増するキー・バリュー（KV）キャッシュの膨張、コスト面で非常に負担の大きいサーバーレス環境でのコールドスタート、さらにはハードウェアの信頼性に関する脆弱性などが含まれます。既存の文献レビューは依然として層ごとの分断状態にあり、低レベルのアクセラレーター仮想化とクラスター間の連携が切り離されたままです。
AIファクトリーは、これまでに作られた中でも最も技術的に複雑な運用環境の一部です。数十万ものGPU、NVIDIA Spectrum-Xイーサネット……
NVIDIAは2026年10月26日（UTC）に、GPU上で大規模なスパース線形システムを効率的に解くために設計されたCUDA-XライブラリであるcuDSSが一般提供（GA）段階に移行したことを発表しました。これにより、半導体、航空、産業システムなどの分野におけるシミュレーションのスループットと反復処理の効率が大幅に向上します。
