imec报告:面向人工智能时代的光互连技术规模化
对带宽的空前需求促使人们通过从根本上重新构想光互连路线图,将光学技术更紧密地集成到硅基芯片上。文章《imec报告:面向人工智能时代的光互连技术 scaling》首发于 Semiconductor Engineering。
检索标题、摘要与正文,把分散的信息连起来。
对带宽的空前需求促使人们通过从根本上重新构想光互连路线图,将光学技术更紧密地集成到硅基芯片上。文章《imec报告:面向人工智能时代的光互连技术 scaling》首发于 Semiconductor Engineering。
今天,我们来了解一下华擎面向工作站推出的高端Radeon AI推理卡——Creator Radeon AI Pro R9700。这款显卡配备32GB内存,售价1700美元,是为工作站添置本地AI推理能力的高性价比之选。文章《华擎Creator Radeon AI Pro R9700评测:AMD风格的工作站推理》首发于ServeTheHome。
i14推出30.28亿参数的Laplace 3B模型,采用门控线性注意力(GLA)替代Softmax注意力,其推理时每序列递归状态恒为29.5 MB,与上下文长度无关;该模型在单台AWS trn2.48xlarge(16颗Trainium2芯片)上完成训练与服务验证,训练吞吐达12万token/秒,服务吞吐11544 output token/秒(1280并发序列),所有性能数据均为i14与AWS GenAIIC团队内部实测结果。