Amazon SageMaker AI 推出无GPU管理的模型定制训练会话,正式全面可用
AWS 宣布 SageMaker AI 无服务器模型定制功能新增「训练会话(Training Sessions)」,即日起全面可用。用户可自主编写后训练逻辑(如自定义损失函数、奖励信号、多轮强化学习),而 GPU 分配、分布式执行、容错恢复与检查点存储均由平台自动处理。
检索标题、摘要与正文,把分散的信息连起来。
AWS 宣布 SageMaker AI 无服务器模型定制功能新增「训练会话(Training Sessions)」,即日起全面可用。用户可自主编写后训练逻辑(如自定义损失函数、奖励信号、多轮强化学习),而 GPU 分配、分布式执行、容错恢复与检查点存储均由平台自动处理。
Amazon SageMaker发布训练会话(Training Sessions)API,支持用户以纯Python脚本实现SFT、RLHF、GRPO、KTO等自定义大模型训练逻辑,GPU资源调度、容错、分布式执行及检查点管理均由服务托管。
弹性GPU、沙盒式增长与智能体云的经济性
弹性GPU、沙盒式增长与智能体云的经济性
欧洲零售商正依托NVIDIA加速的开放大模型与物理AI技术,在数字商品发现、智能仓储仿真、虚拟试穿及研发加速等场景实现规模化落地。Shopify、Zooplus、L’Oréal、Otto Group等企业通过Nemotron系列模型、Omniverse数字孪生、ALCHEMI分子模拟等工具,显著降低推理成本、提升搜索准确率、缩短研发周期,并验证了转化率与销售增长效果。
黑石AI业务负责人贾斯·卡伊拉在TechCrunch Disrupt大会上表示,市场对AI基础设施领域巨额债务的恐慌被过度放大;其核心论据是:债务主要由高信用等级客户(如微软、Meta)的长期合同支撑,且底层资产(GPU等)具备强抵押价值,风险结构与2008年银行体系有本质区别。
美国联邦法官裁定,特朗普政府无权授意环保署(EPA)单方面撤销针对SpaceXAI在孟菲斯运营未许可燃气轮机所引发的空气污染诉讼;NAACP提起的诉讼将继续推进。
Dharma-AI提出VocabX方法,针对特定任务(如葡萄牙语作文自动评分)重构语言模型词汇表,以生成代价而非词频为优化目标,在不修改模型结构、参数或训练流程的前提下,实测推理成本下降77%,同时评估质量(bench score)从0.703提升至0.810。
本文为Hugging Face与Amazon联合发布的技术博客系列首篇,系统介绍如何在AWS Trainium AI加速芯片上使用TorchNeuron进行PyTorch模型推理性能分析,涵盖Neuron后端集成原理、torch.profiler配置方法、NeuronConfig与NeuronProfiler工具使用、Neuron Explorer可视化追踪,并以RMSNorm为例对比三种实现(朴素PyTorch、torch.rms_norm内置融合、torch.compile自动融合)的设备耗时差异。
i14推出30.28亿参数的Laplace 3B模型,采用门控线性注意力(GLA)替代Softmax注意力,其推理时每序列递归状态恒为29.5 MB,与上下文长度无关;该模型在单台AWS trn2.48xlarge(16颗Trainium2芯片)上完成训练与服务验证,训练吞吐达12万token/秒,服务吞吐11544 output token/秒(1280并发序列),所有性能数据均为i14与AWS GenAIIC团队内部实测结果。
SF Compute由Evan Conrad创立,聚焦于实现GPU算力的可编程、物理交割式交易;其不拥有数据中心,而是通过全栈技术协同第三方设施共建‘主权算力云’,强调市场中立性与基础设施可控性,已实现数亿美元交易额并落地InfiniBand动态切分等关键能力。
为应对生成式AI爆发带来的高带宽内存芯片需求激增,三星在韩国平泽建设占地相当于纽约中央公园的半导体制造集群,目前已投运三座晶圆厂,第四座即将投产,第五座在2024年因需求下滑暂停后已重启建设;现场呈现高强度、高安全标准的建设节奏与劳动力生态。
Hugging Face 发布 TorchTPU,为 PyTorch 提供原生 TPU 后端支持,使 Transformers、Diffusers 等库可直接在 TPU 上运行,无需依赖 torch_xla 或迁移到 JAX。
Hugging Face正式发布AnyLanguageModel 1.0,提供与Apple Foundation Models API完全兼容的开源Swift框架,支持本地(MLX、llama.cpp、Core ML)及托管(OpenAI、Anthropic、Gemini、Hugging Face Inference Providers等)模型无缝切换,并新增图像输入、工具调用、引导式生成、推理块自动适配等特性。
Hugging Face联合AWS推出TorchNeuron——PyTorch原生Trainium后端,自2026年10月20日起开放公测。该技术使Transformers、Diffusers等主流库无需修改即可直接运行于Trainium芯片,显著提升文本生成与图像生成模型的易用性与兼容性。
Google DeepMind与新加坡GovTech联合推出基于Gemma系列的轻量化端侧AI模型,专为在用户设备本地运行而优化,可在不上传任何聊天数据至云端的前提下,实时识别并预警 conversational scams(对话式诈骗)。
对网络、数学与人工智能的差异化加速
GPU 管理:为什么摇摆 GPU 是新地面飞机
这是否是一个新世界的开端?