本文へ移動
AI NEWS JOURNAL
AI, IN PERSPECTIVE

AI ニュースを検索

見出し・要約・本文から、情報のつながりを探します。

公開日時順

NVIDIA NemoClawで、自社管理のスタック上に専用エージェントを構築する

自律型エージェントの構築には、モデル、ハーネス、およびドメイン固有のツールが必要です。エージェントをより安全にデプロイするためには、ポリシーを強制するランタイムに加え、信頼性の高い実行を確保するための最適化ツールや観測可能性ツールも必要です。

経緯と関連報道

DualPace:大規模言語モデルの推論における、非同期スケジューリングとGPU–CPU協調デコード

arXiv:2610.33501v1 発表タイプ:新規 要旨:大規模言語モデル(LLM)のサービスでは、推論スループットを向上させるためにバッチ処理が用いられるが、キー値(KV)キャッシュはシーケンス長に応じて増大し、GPU上での並行処理能力を制限する要因となっている。CPUオフロードによりホストメモリを活用してKV容量を拡張することは可能だが、既存のシステムは依然として大部分がGPUに依存しており、CPU上に常駐するリクエストが進捗するのは、GPUスケジューラが適切なオーバーラップの機会を提供した場合に限られる。その結果、ホストメモリとCPU計算は独立したサービス資源として機能せず、負荷下ではCPU側の進捗が断続的になり、末端のトークン間遅延(ITL)が過剰に増大するという問題が生じる。本稿では、ホストを独立してスケジュール可能なデコードエンジンへと変える、LLM向けの実行時環境であるDualPaceを提案する。DualPaceは、スケジューリング権限を二つのエンジン間に分割し、GPUエンジン

経緯と関連報道

ASRock Creator Radeon AI Pro R9700 レビュー:AMD流のワークステーション推論性能

本日は、ワークステーション向けのASRock製ハイエンドRadeon AI推論カード「Creator Radeon AI Pro R9700」をご紹介します。32GBのメモリを搭載し、価格は1,700ドルというこのカードは、ローカルでのAI推論を実行するワークステーションを手頃なコストで構築するうえで非常に優れた選択肢です。記事「ASRock Creator Radeon AI Pro R9700レビュー:AMD流ワークステーション向け推論」は、ServeTheHomeに初出しました。

経緯と関連報道

AI需要の高まりを背景に、マーベルの初期の半導体製造への賭けが実を結ぶ

8年前、チップメーカーのマーベル・テクノロジー社はナノメートル単位での技術革新を一気に進めることを決断し、以来その成長軌道は着実に上向き続けている。半導体製造において、ナノメートル表記はトランジスタの正確な物理寸法を示すのではなく、プロセスノードと呼ばれるチップ製造技術の世代を指すものである。先進的なプロセスノードは一般に、より高いトランジスタ密度と性能の向上を実現する[…] 「AI需要の高まりの中で、マーベルの初期のチップ製造への賭けが実を結ぶ」という記事は、最初にSiliconANGLEに掲載された。

経緯と関連報道