本文へ移動
AI NEWS JOURNAL
AI, IN PERSPECTIVE

AI ニュースを検索

見出し・要約・本文から、情報のつながりを探します。

公開日時順

GPUにおけるカーネル外最適化の性能ポータビリティ:分子ドッキングのケーススタディ

arXiv:2611.06207v1 発表タイプ:新規 要旨:繰り返し実行されるマルチカーネルGPUパイプラインとして構築された不規則な科学アプリケーションにおいては、スループットがカーネルの効率と同程度にカーネル外の判断に依存するため、性能の移植性を実現するのは困難である。分子ドッキングを代表的なケーススタディとして取り上げ、バッチングポリシー、ワーカーの並行度、および各ワーカーごとのメモリ割り当てを明示的な最適化パラメータとして扱うカーネル外チューニング手法を提案する。この手法では、バックエンド依存の占有率主導型の選択を、明示的なリソース制約に基づくより移植性の高い実行戦略に置き換える。本手法をmuDockミニアプリに実装し、マネージャ/ワーカー実行モデル下で複数のホストワーカーが独立したストリームを通じてGPUを共有する環境を構築した。その後、NVIDIA、AMD、Intelの各GPUに対し、CUDA、HIP、SYCLの実装上で評価を行った。評価対象となったすべてのプラットフォーム/バックエンドの組み合わせにおいて、メモリ制約に基づく定式化は占有率主導型のベースラインのピークスループットを上回った。完全にチューニングされた本手法は、テストしたすべての構成でエンドツーエンドのスループットを向上させ、ベースラインに対して平均1.53倍の高速化を達成した。

低通過特性の限界を超えて:共鳴ニューロンを用いた周波数選択型スパイキングリザーバー

arXiv:2610.37906v1 発表タイプ:新規 要旨:スパイキングリザーバーコンピューティングは、固定された再帰的リザーバーの学習効率と、各タイムステップごとに高密度に計算を行うのではなく、疎なスパイクによって計算がトリガーされるイベント駆動型推論のエネルギー効率を組み合わせた手法である。しかし、既存のスパイキングリザーバーはほぼすべて漏洩積分・発火(LIF)ニューロンに依存しており、その低通過特性により、異なる時間周波数で符号化された情報を区別する能力が制限されている。そこで我々は、LIFニューロンを多様なハーモニック共鳴・発火(HRF)ニューロンの集団に置き換えた液体状態マシンであるHRF-Resを提案する。これらのニューロンは固有の振動ダイナミクスを示し、入力信号の周波数に対して選択的に応答するため、リザーバーは周波数

経緯と関連報道

Build-A-Chip-Benchの紹介:ワークロード仕様からGDSまで

オープンソースツールとオープンソースPDKを用いて、チップ設計ワークフローを完了する能力を評価するため、ワークロード仕様からGDSレイアウトに至るまでの段階でAIエージェントを評価します。記事「Build-A-Chip-Benchの紹介:ワークロード仕様からGDSまで」はSemiconductor Engineeringに最初に掲載されました。

経緯と関連報道

クラウドにおける大規模言語モデル:アーキテクチャ、オーケストレーション、推論に関する議論

arXiv:2610.33475v1 発表タイプ:新規 要旨:クラウドデータセンターにおける基盤となる大規模言語モデル(LLM)の広範な導入は、ステートレスなディープラーニングから分散型でメモリ集約的な生成ワークロードへと、根本的なパラダイムシフトを示しています。しかし、厳しいサービスレベル目標(SLO)の下で巨大な基盤モデルを運用するには、重要な物理的およびシステム上のボトルネックが露呈します。これらの課題には、依然として克服されていない高帯域幅メモリ(HBM)の壁、計算負荷に依存するプリフィル処理とメモリ帯域幅に制約されるデコードとの間の運用上の非対称性、急増するキー・バリュー(KV)キャッシュの膨張、コスト面で非常に負担の大きいサーバーレス環境でのコールドスタート、さらにはハードウェアの信頼性に関する脆弱性などが含まれます。既存の文献レビューは依然として層ごとの分断状態にあり、低レベルのアクセラレーター仮想化とクラスター間の連携が切り離されたままです。

経緯と関連報道

DualPace:大規模言語モデルの推論における、非同期スケジューリングとGPU–CPU協調デコード

arXiv:2610.33501v1 発表タイプ:新規 要旨:大規模言語モデル(LLM)のサービスでは、推論スループットを向上させるためにバッチ処理が用いられるが、キー値(KV)キャッシュはシーケンス長に応じて増大し、GPU上での並行処理能力を制限する要因となっている。CPUオフロードによりホストメモリを活用してKV容量を拡張することは可能だが、既存のシステムは依然として大部分がGPUに依存しており、CPU上に常駐するリクエストが進捗するのは、GPUスケジューラが適切なオーバーラップの機会を提供した場合に限られる。その結果、ホストメモリとCPU計算は独立したサービス資源として機能せず、負荷下ではCPU側の進捗が断続的になり、末端のトークン間遅延(ITL)が過剰に増大するという問題が生じる。本稿では、ホストを独立してスケジュール可能なデコードエンジンへと変える、LLM向けの実行時環境であるDualPaceを提案する。DualPaceは、スケジューリング権限を二つのエンジン間に分割し、GPUエンジン

経緯と関連報道

i14がLaplace 3B線形注意力モデルを発表:AWS Trainium2とネイティブPyTorchを基に、固定状態メモリでの推論を実現

i14は、30.28億パラメータを備えるLaplace 3Bモデルを発表しました。このモデルでは、Softmaxアテンションの代わりにゲート制御線形アテンション(GLA)を採用しており、推論時の各シーケンスあたりの再帰状態は常に29.5 MBで、コンテキスト長に依存しません。同モデルは、AWS trn2.48xlarge(Trainium2チップ16基搭載)1台でトレーニングおよびサービス検証を実施し、トレーニングスループットは12万トークン/秒、サービススループットは11,544出力トークン/秒(1,280同時実行シーケンス)に達しました。すべての性能データは、i14とAWS GenAIICチームによる社内実測結果です。

経緯と関連報道