AI 自动翻译
摘要：高性能通用矩阵乘法（GEMM）的实现依赖于将GEMM分解为经过精心选择的分块，以达到峰值性能。我们提出了一种名为Waypoint的新分析模型，用于针对给定的硬件和输入矩阵形状自动确定最优的分块大小。Waypoint通过捕捉所有架构效应——包括与存储层次结构的交互、指令级并行以及多线程——来估算特定分块选择所能达到的性能。以这些估算值为代理，我们在可能的分块大小空间中进行搜索，从而找到能够最大化性能的分块尺寸。此外，Waypoint还能帮助硬件设计人员评估实验性硬件优化方案的实际性能。我们基于Waypoint构建了一个面向CPU的新GEMM库OPAM，该库能够自动对GEMM进行分块，其性能可媲美当前最先进的GEMM库，并有助于加速CPU上的大语言模型推理，实现1.36至1.98倍的加速。
提交历史
访问 Paper：
查看PDF
HTML（实验性）
TeX 源代码
附加功能
音频摘要
当前浏览上下文：
参考文献与引用
谷歌学术
语义学者
书签
机构
arXivLabs 是一个框架，允许合作者直接在我们的网站上开发并共享新的 arXiv 功能。
无论是个人还是与 arXivLabs 合作的机构，都已认同并践行我们所倡导的开放、社区、卓越以及用户数据隐私等价值观。arXiv 致力于坚守这些价值观，并且只与同样秉持这些理念的合作伙伴开展合作。
您是否有一个能为 arXiv 社区创造价值的项目构想？欢迎了解更多关于 arXivLabs 的信息。