Why AI Compute Comes in Rectangles — Erik Bernhardsson, Modal CEO
Elastic GPUs, sandbox growth, and the economics of the agent cloud
翻訳待ち・原文を表示中 · en出典・テーマ・日時から、気になるニュースを見つけられます。
Elastic GPUs, sandbox growth, and the economics of the agent cloud
翻訳待ち・原文を表示中 · enブラックストーンのAI事業責任者であるジャス・カイラ氏は、TechCrunch Disruptカンファレンスにおいて、AIインフラ分野における巨額の債務に対する市場の不安は過度に拡大されていると述べました。その核心的な論拠として、債務は主にマイクロソフトやメタといった高信用格付けの顧客との長期契約によって支えられており、さらにGPUなどの基礎資産には強力な担保価値が備わっているため、リスク構造は2008年の銀行システムとは本質的に異なるものだと指摘しました。
NVIDIAは2026年10月26日(UTC)に、GPU上で大規模なスパース線形システムを効率的に解くために設計されたCUDA-XライブラリであるcuDSSが一般提供(GA)段階に移行したことを発表しました。これにより、半導体、航空、産業システムなどの分野におけるシミュレーションのスループットと反復処理の効率が大幅に向上します。
本記事は、Hugging FaceとAmazonが共同で公開する技術ブログシリーズの第1弾であり、AWS Trainium AIアクセラレーションチップ上でTorchNeuronを用いたPyTorchモデルの推論性能分析の手法を体系的に紹介します。内容には、Neuronバックエンドの統合原理、torch.profilerの設定方法、NeuronConfigおよびNeuronProfilerツールの利用、Neuron Explorerによる可視化トレースが含まれます。さらに、RMSNormを例に、3つの実装(従来のPyTorch、torch.rms_normの組み込み融合、torch.compileによる自動融合)間のデバイス上での実行時間の差異を比較しています。
i14は、30.28億パラメータを備えるLaplace 3Bモデルを発表しました。このモデルでは、Softmaxアテンションの代わりにゲート制御線形アテンション(GLA)を採用しており、推論時の各シーケンスあたりの再帰状態は常に29.5 MBで、コンテキスト長に依存しません。同モデルは、AWS trn2.48xlarge(Trainium2チップ16基搭載)1台でトレーニングおよびサービス検証を実施し、トレーニングスループットは12万トークン/秒、サービススループットは11,544出力トークン/秒(1,280同時実行シーケンス)に達しました。すべての性能データは、i14とAWS GenAIICチームによる社内実測結果です。
SF Computeはエヴァン・コンラッドによって設立され、中立的でプログラマブルかつ物理的な引渡しをサポートするGPU計算力取引インフラの構築に注力しています。同社のモデルはFLOPSという抽象的な商品を排し、ハードウェアの異種性や実際の納品、ならびに割り込み耐性、InfiniBandトポロジー、ファームウェアバージョンといったリアルタイムの制約を重視しています。これまでに数百億ドル規模の取引量を達成しており、動的なInfiniBandサブネット分割などの基盤機能も提供しています。
生成AIの急増に伴う高帯域幅メモリーチップの需要急拡大に対応するため、サムスンは韓国・平沢にニューヨークのセントラルパークと同程度の面積を誇る半導体製造クラスターを建設しており、現在では3つのウェハファブが稼働中で、4つ目もまもなく量産開始、5つ目は2024年に需要低迷を受けて一時停止したものの、その後再開されています。現場では、高い水準の建設ペースと厳格な安全基準、そして労働力の整備が進められています。
Hugging Face は TorchTPU をリリースし、PyTorch にネイティブな TPU バックエンドを提供することで、Transformers や Diffusers などのライブラリを torch_xla に依存したり JAX へ移行することなく、直接 TPU 上で実行できるようにしました。
Hugging FaceとAWSが共同でTorchNeuronを発表しました。これはPyTorch向けのネイティブなTrainiumバックエンドで、2026年10月20日よりパブリックベータが開始されます。この技術により、TransformersやDiffusersなどの主要ライブラリを変更することなく直接Trainiumチップ上で実行でき、テキスト生成および画像生成モデルの使いやすさと互換性が大幅に向上します。
GPUクラスターのインパクトのあるスケジューリング
Differential acceleration of cyber, math, and AI
翻訳待ち・原文を表示中 · enGPU管理: Idle GPUの理由 新しい地上航空機である
Figure 1: CUDA-to-MLX optimization translation map. CUDA optimization knowledge can be translated into architecture-native MLX strategies rather than copied instruction-for-instruction. We face a new epoch in computing. Hardware is changing rapidly — not just faster GPUs, but a growing range of chips from different vendors, each with its own architecture and often tailored to specific AI workloads. Software is changing just as fast, and AI coding tools now generate in minutes what took months of effort a few years ago. With so much of computing now centered on AI, GPU kernels are a crucial component of its success. These are the low-level programs that run inside the GPU, and writing efficient ones is far from obvious — it takes years of expertise to get right. Transferring a kernel from o
翻訳待ち・原文を表示中 · enIs this the beginning of a new world?
翻訳待ち・原文を表示中 · enWhat eras bookend our interregnum?
翻訳待ち・原文を表示中 · en