本文へ移動
AI NEWS.ccAI正在发生 未来正在更新
ニュースのブックマーク
THE JOURNAL
AI NEWS JOURNAL
AI, IN PERSPECTIVE

AI ニュースを検索

見出し・要約・本文から、情報のつながりを探します。

公開日時順

arXiv cs.DC

GPUにおけるカーネル外最適化の性能ポータビリティ：分子ドッキングのケーススタディ

arXiv:2611.06207v1 発表タイプ：新規 要旨：繰り返し実行されるマルチカーネルGPUパイプラインとして構築された不規則な科学アプリケーションにおいては、スループットがカーネルの効率と同程度にカーネル外の判断に依存するため、性能の移植性を実現するのは困難である。分子ドッキングを代表的なケーススタディとして取り上げ、バッチングポリシー、ワーカーの並行度、および各ワーカーごとのメモリ割り当てを明示的な最適化パラメータとして扱うカーネル外チューニング手法を提案する。この手法では、バックエンド依存の占有率主導型の選択を、明示的なリソース制約に基づくより移植性の高い実行戦略に置き換える。本手法をmuDockミニアプリに実装し、マネージャ/ワーカー実行モデル下で複数のホストワーカーが独立したストリームを通じてGPUを共有する環境を構築した。その後、NVIDIA、AMD、Intelの各GPUに対し、CUDA、HIP、SYCLの実装上で評価を行った。評価対象となったすべてのプラットフォーム/バックエンドの組み合わせにおいて、メモリ制約に基づく定式化は占有率主導型のベースラインのピークスループットを上回った。完全にチューニングされた本手法は、テストしたすべての構成でエンドツーエンドのスループットを向上させ、ベースラインに対して平均1.53倍の高速化を達成した。

arXiv cs.DC

異種性はいつ効果を発揮するのか？GPUとWSEシステムの相補性の理解

arXiv:2610.39222v1 発表タイプ：新規 要旨：AIアクセラレータのアーキテクチャがますます多様化する中、異なるアーキテクチャを統一されたシステムに統合することが、新たな異種計算のパラダイムとして浮上している。GPUとWSEは、演算、メモリ、通信の組織形態において大きく異なり、これによりアーキテクチャ間の相補性と追加のオーバヘッドが生じる一方で、この異種性をいかにして実用的な性能向上へと結びつけるかは依然として不明である。このギャップを解消するため、我々はGPU–WSEの異種実行および相補性を活用する条件を評価する階層的ベンチマーク手法を提案するとともに、異種性がボトルネックとなる場合とシステムレベルで性能向上をもたらす場合を特定する解析的性能モデルを提示する。

経緯と関連報道

NVIDIA デベロッパー

NVIDIA CUDA 13.4を用いたKubernetesにおけるメモリ強制型GPU共有

多くのAIワークロードは、GPUのほんの一部しか必要としません。各ワークロードに専用のデバイスを割り当てると、リソースが遊んでいる状態になることがあります。GPUを共有することで、プラットフォームチームはより多くのワークロードに対応できるようになります…

経緯と関連報道
セミエンジニアリング

アナログ重ね合わせが有効なPCMの記憶密度を向上（IBMリサーチヨーロッパ）

IBMリサーチヨーロッパの研究者らは、「ニューラルネットワークにおけるベクトル格納のための重ね合わせ型アナログメモリ」を発表しました。要旨：研究者たちは、複数のAIベクトルを重ね合わせて格納するアナログ相変化メモリアーキテクチャを実証し、精度の調整可能なトレードオフにより有効な記憶密度を向上させました。試作のPCMハードウェアによるテストでは、推論精度がフル精度のソフトウェアにほぼ匹敵することが示されました。技術論文はこちらからご覧ください…… » 続きを読む 「アナログ重ね合わせが有効なPCMの記憶密度を向上（IBMリサーチヨーロッパ）」の記事は、Semiconductor Engineeringに最初に掲載されました。

新闻源配图 · SemiEngineering
経緯と関連報道

マークテックポスト

vLLM セマンティックルーターが d3-ultra をリリース：270億パラメータのオープンなマルチモーダル意思決定モデル

vLLMセマンティックルーターは、270億パラメータ規模のオープンウェイトなマルチモーダル意思決定モデルであるd3-ultraをリリースしました。同モデルはテキスト、画像、動画を一度に読み込み、各回答に対する確率を返却し、チームのSR-Textテストで87.2点を獲得しています。この記事「vLLMセマンティックルーター、270億パラメータ規模のオープンマルチモーダル意思決定モデルd3-ultraをリリース」は、MarkTechPostに最初に掲載されました。

新闻源配图 · MarkTechPost
経緯と関連報道
arXiv cs.DC

TMAを使用するべきタイミングと理由：NVIDIA Hopper GPUにおけるテンソルメモリアクセラレーションのワークロードに基づく特性評価

arXiv:2610.34907v1 発表タイプ：新規 要旨：NVIDIA Hopperで導入されたテンソルメモリアクセラレータ（TMA）は、実運用のGPUカーネルにおいて広く用いられているにもかかわらず、その使用状況は極めて選択的である。CUTLASS、FlashAttention-3、FlashInferなどの専門的なカーネル開発者たちは、カーネル内の一部のテンソルオペランドに対してTMAを適用する一方で、他のオペランドについてはcp.asyncや直接グローバルロード、あるいは分散共有メモリ（DSM）に回帰している。ベンダーのドキュメントではAPIが説明され、最近のマイクロベンチマークによる研究ではTMAのスループットが単独で評価されているが、実際の実務者が直面する問いにはいずれも答えられていない。すなわち、カーネル内で特定のメモリオペランドが存在する場合、それをTMAで処理すべきなのか、また、もしTMAを使うならクラスタマルチキャストを併用すべきか否かという問題である。本研究では、H100を対象としたワークロードに基づく特性評価を通じて、このギャップに取り組む。我々はTMAの利用状況を体系的に整理し、多

経緯と関連報道
arXiv cs.DC

クラウドにおける大規模言語モデル：アーキテクチャ、オーケストレーション、推論に関する議論

arXiv:2610.33475v1 発表タイプ：新規 要旨：クラウドデータセンターにおける基盤となる大規模言語モデル（LLM）の広範な導入は、ステートレスなディープラーニングから分散型でメモリ集約的な生成ワークロードへと、根本的なパラダイムシフトを示しています。しかし、厳しいサービスレベル目標（SLO）の下で巨大な基盤モデルを運用するには、重要な物理的およびシステム上のボトルネックが露呈します。これらの課題には、依然として克服されていない高帯域幅メモリ（HBM）の壁、計算負荷に依存するプリフィル処理とメモリ帯域幅に制約されるデコードとの間の運用上の非対称性、急増するキー・バリュー（KV）キャッシュの膨張、コスト面で非常に負担の大きいサーバーレス環境でのコールドスタート、さらにはハードウェアの信頼性に関する脆弱性などが含まれます。既存の文献レビューは依然として層ごとの分断状態にあり、低レベルのアクセラレーター仮想化とクラスター間の連携が切り離されたままです。

経緯と関連報道
arXiv cs.DC

DualPace：大規模言語モデルの推論における、非同期スケジューリングとGPU–CPU協調デコード

arXiv:2610.33501v1 発表タイプ：新規 要旨：大規模言語モデル（LLM）のサービスでは、推論スループットを向上させるためにバッチ処理が用いられるが、キー値（KV）キャッシュはシーケンス長に応じて増大し、GPU上での並行処理能力を制限する要因となっている。CPUオフロードによりホストメモリを活用してKV容量を拡張することは可能だが、既存のシステムは依然として大部分がGPUに依存しており、CPU上に常駐するリクエストが進捗するのは、GPUスケジューラが適切なオーバーラップの機会を提供した場合に限られる。その結果、ホストメモリとCPU計算は独立したサービス資源として機能せず、負荷下ではCPU側の進捗が断続的になり、末端のトークン間遅延（ITL）が過剰に増大するという問題が生じる。本稿では、ホストを独立してスケジュール可能なデコードエンジンへと変える、LLM向けの実行時環境であるDualPaceを提案する。DualPaceは、スケジューリング権限を二つのエンジン間に分割し、GPUエンジン

経緯と関連報道
サーブザホーム

ASRock Creator Radeon AI Pro R9700 レビュー：AMD流のワークステーション推論性能

本日は、ワークステーション向けのASRock製ハイエンドRadeon AI推論カード「Creator Radeon AI Pro R9700」をご紹介します。32GBのメモリを搭載し、価格は1,700ドルというこのカードは、ローカルでのAI推論を実行するワークステーションを手頃なコストで構築するうえで非常に優れた選択肢です。記事「ASRock Creator Radeon AI Pro R9700レビュー：AMD流ワークステーション向け推論」は、ServeTheHomeに初出しました。

経緯と関連報道

SiliconANGLE AI

AI需要の高まりを背景に、マーベルの初期の半導体製造への賭けが実を結ぶ

8年前、チップメーカーのマーベル・テクノロジー社はナノメートル単位での技術革新を一気に進めることを決断し、以来その成長軌道は着実に上向き続けている。半導体製造において、ナノメートル表記はトランジスタの正確な物理寸法を示すのではなく、プロセスノードと呼ばれるチップ製造技術の世代を指すものである。先進的なプロセスノードは一般に、より高いトランジスタ密度と性能の向上を実現する[…] 「AI需要の高まりの中で、マーベルの初期のチップ製造への賭けが実を結ぶ」という記事は、最初にSiliconANGLEに掲載された。

経緯と関連報道