Amazon SageMaker推出训练会话API:用户可编写自定义大模型训练循环,无需管理GPU
Amazon SageMaker发布训练会话(Training Sessions)API,支持用户以纯Python脚本实现SFT、RLHF、GRPO、KTO等自定义大模型训练逻辑,GPU资源调度、容错、分布式执行及检查点管理均由服务托管。
检索标题、摘要与正文,把分散的信息连起来。
Amazon SageMaker发布训练会话(Training Sessions)API,支持用户以纯Python脚本实现SFT、RLHF、GRPO、KTO等自定义大模型训练逻辑,GPU资源调度、容错、分布式执行及检查点管理均由服务托管。
NVIDIA于2026年10月26日(UTC)宣布cuDSS库进入通用可用(GA)阶段,该CUDA-X库专为在GPU上高效求解大规模稀疏线性系统而设计,显著提升芯片、航空、工业系统等领域的仿真吞吐量与迭代效率。
本文为Hugging Face与Amazon联合发布的技术博客系列首篇,系统介绍如何在AWS Trainium AI加速芯片上使用TorchNeuron进行PyTorch模型推理性能分析,涵盖Neuron后端集成原理、torch.profiler配置方法、NeuronConfig与NeuronProfiler工具使用、Neuron Explorer可视化追踪,并以RMSNorm为例对比三种实现(朴素PyTorch、torch.rms_norm内置融合、torch.compile自动融合)的设备耗时差异。
i14推出30.28亿参数的Laplace 3B模型,采用门控线性注意力(GLA)替代Softmax注意力,其推理时每序列递归状态恒为29.5 MB,与上下文长度无关;该模型在单台AWS trn2.48xlarge(16颗Trainium2芯片)上完成训练与服务验证,训练吞吐达12万token/秒,服务吞吐11544 output token/秒(1280并发序列),所有性能数据均为i14与AWS GenAIIC团队内部实测结果。