为什么人工智能计算采用矩形架构——Modal公司首席执行官埃里克·伯恩哈德松
弹性GPU、沙盒式增长与智能体云的经济性
保留完整资讯流,用来源、主题和时间找到你关心的消息。
弹性GPU、沙盒式增长与智能体云的经济性
弹性GPU、沙盒式增长与智能体云的经济性
黑石AI业务负责人贾斯·卡伊拉在TechCrunch Disrupt大会上表示,市场对AI基础设施领域巨额债务的恐慌被过度放大;其核心论据是:债务主要由高信用等级客户(如微软、Meta)的长期合同支撑,且底层资产(GPU等)具备强抵押价值,风险结构与2008年银行体系有本质区别。
NVIDIA于2026年10月26日(UTC)宣布cuDSS库进入通用可用(GA)阶段,该CUDA-X库专为在GPU上高效求解大规模稀疏线性系统而设计,显著提升芯片、航空、工业系统等领域的仿真吞吐量与迭代效率。
本文为Hugging Face与Amazon联合发布的技术博客系列首篇,系统介绍如何在AWS Trainium AI加速芯片上使用TorchNeuron进行PyTorch模型推理性能分析,涵盖Neuron后端集成原理、torch.profiler配置方法、NeuronConfig与NeuronProfiler工具使用、Neuron Explorer可视化追踪,并以RMSNorm为例对比三种实现(朴素PyTorch、torch.rms_norm内置融合、torch.compile自动融合)的设备耗时差异。
i14推出30.28亿参数的Laplace 3B模型,采用门控线性注意力(GLA)替代Softmax注意力,其推理时每序列递归状态恒为29.5 MB,与上下文长度无关;该模型在单台AWS trn2.48xlarge(16颗Trainium2芯片)上完成训练与服务验证,训练吞吐达12万token/秒,服务吞吐11544 output token/秒(1280并发序列),所有性能数据均为i14与AWS GenAIIC团队内部实测结果。
SF Compute由Evan Conrad创立,致力于打造中立、可编程、支持物理交割的GPU算力交易基础设施;其模式拒绝抽象化FLOPS商品,强调硬件异构性、真实交付与实时约束(如中断容忍、InfiniBand拓扑、固件版本等),已实现数百亿美元交易量,并推出动态InfiniBand子网划分等底层能力。
为应对生成式AI爆发带来的高带宽内存芯片需求激增,三星在韩国平泽建设占地相当于纽约中央公园的半导体制造集群,目前已投运三座晶圆厂,第四座即将投产,第五座在2024年因需求下滑暂停后已重启建设;现场呈现高强度、高安全标准的建设节奏与劳动力生态。
Hugging Face 发布 TorchTPU,为 PyTorch 提供原生 TPU 后端支持,使 Transformers、Diffusers 等库可直接在 TPU 上运行,无需依赖 torch_xla 或迁移到 JAX。
Hugging Face联合AWS推出TorchNeuron——PyTorch原生Trainium后端,自2026年10月20日起开放公测。该技术使Transformers、Diffusers等主流库无需修改即可直接运行于Trainium芯片,显著提升文本生成与图像生成模型的易用性与兼容性。
GPU 群集的有效调度
GPU 管理:为什么摇摆 GPU 是新地面飞机