跳到正文
AI NEWS JOURNAL
AI, IN PERSPECTIVE

搜索 AI 资讯

检索标题、摘要与正文,把分散的信息连起来。

按发布时间排序

云端的大型语言模型:关于架构、编排与推理的探讨

arXiv:2610.33475v1 发布类型:新 摘要:基础大型语言模型(LLM)在云数据中心的广泛部署,标志着从无状态深度学习向分布式、内存密集型生成式工作负载的根本性范式转变。然而,在严格的服务水平目标(SLO)下为海量基础模型提供服务,会暴露出关键的物理与系统瓶颈。这些挑战包括持续存在的高带宽存储器(HBM)墙、计算密集型预填充与内存带宽受限的解码之间的运行不对称、键值(KV)缓存的爆炸式增长、代价高昂的无服务器冷启动,以及硬件可靠性方面的漏洞。现有的文献综述仍局限于各层次的孤立视角,未能将底层加速器的虚拟化与集群……

事件进展与其他报道

Edge AI Daily 早报(10月26日)

苹果终结二十年触控抵制,首款触屏OLED MacBook Pro定档发布,成为特努斯接任CEO后首个硬件答卷;Meta自由现金流转为-21亿美元,7600亿美元行业资本支出迎盈亏平衡审判;谷歌以1070兆瓦虚拟电厂重构数据中心供能,特斯拉自研AI地图弃用谷歌;Anthropic被指静默削弱Claude Opus 5.5逆向能力;亚马逊、Meta、OpenAI以50美元级AI硬件切入可穿戴赛道。

Edge AI Daily 早报(10月26日)
事件进展与其他报道