斯坦福大学与加州大学伯克利分校的研究人员推出 TokenGate：基于令牌的注意力机制使长上下文预填充速度提升高达 11.3 倍
斯坦福大学与加州大学伯克利分校研究人员提出TokenGate——一种可即插即用的学习型令牌剪枝模块，适用于现有大语言模型（LLM）。该方法在不损失准确率的前提下，将长上下文预填充的首字生成时间（TTFT）加速1.4至11.3倍，峰值内存降低1.5至3.4倍。相关代码与检查点已开源。
AI NEWS JOURNAL
搜索 AI 资讯
检索标题、摘要与正文，把分散的信息连起来。
PyTorch 2.15 正式支持 MPS：FP8、MoE 加速与 Metal 内核全面升级
PyTorch 2.15 为 Apple Silicon Mac 带来重大 MPS 后端升级，首次在 macOS 上原生支持 FP8 张量运算，MoE 模型解码速度提升 5–6.5 倍，视频 VAE 解码峰值显存从 270 GiB 降至 8 GiB，并将大量算子从 MPSGraph 迁移至专用 Metal 内核。
用PyTorch(第2部分)进行剖析:来自nn. 折叠 MLP 的线性
用PyTorch(第2部分)进行剖析:来自nn. 折叠 MLP 的线性