跳到正文
AI NEWS JOURNAL
AI, IN PERSPECTIVE

全部 AI 动态

保留完整资讯流,用来源、主题和时间找到你关心的消息。

按发布时间排序

TorchNeuron系统级性能分析(第一部分):基于AWS Trainium芯片的端到端剖析

本文为Hugging Face与Amazon联合发布的技术博客系列首篇,系统介绍如何在AWS Trainium AI加速芯片上使用TorchNeuron进行PyTorch模型推理性能分析,涵盖Neuron后端集成原理、torch.profiler配置方法、NeuronConfig与NeuronProfiler工具使用、Neuron Explorer可视化追踪,并以RMSNorm为例对比三种实现(朴素PyTorch、torch.rms_norm内置融合、torch.compile自动融合)的设备耗时差异。

事件进展与其他报道

i14发布Laplace 3B线性注意力模型:基于AWS Trainium2与原生PyTorch实现固定状态内存推理

i14推出30.28亿参数的Laplace 3B模型,采用门控线性注意力(GLA)替代Softmax注意力,其推理时每序列递归状态恒为29.5 MB,与上下文长度无关;该模型在单台AWS trn2.48xlarge(16颗Trainium2芯片)上完成训练与服务验证,训练吞吐达12万token/秒,服务吞吐11544 output token/秒(1280并发序列),所有性能数据均为i14与AWS GenAIIC团队内部实测结果。

事件进展与其他报道

探访三星平泽超大规模半导体新基地:AI驱动下的内存芯片扩产潮

为应对生成式AI爆发带来的高带宽内存芯片需求激增,三星在韩国平泽建设占地相当于纽约中央公园的半导体制造集群,目前已投运三座晶圆厂,第四座即将投产,第五座在2024年因需求下滑暂停后已重启建设;现场呈现高强度、高安全标准的建设节奏与劳动力生态。

事件进展与其他报道