何时以及为何使用TMA：基于工作负载的NVIDIA Hopper GPU张量内存加速特性分析

arXiv：2610.34907v1 发布类型：新 摘要：在NVIDIA Hopper架构中推出的张量内存加速器（TMA），已在生产环境中的GPU内核中得到广泛应用，但其使用却表现出明显的选择性：CUTLASS、FlashAttention-3和FlashInfer等领域的资深内核开发者，仅对内核中的部分张量操作数采用TMA，而对其余操作数则退回到cp.async、直接全局加载或分布式共享内存（DSM）等方式。厂商文档虽已阐述了该API，近期的微基准测试也单独刻画了TMA的吞吐性能，但这些研究均未能解答从业者实际面临的疑问：在内核中遇到某个内存操作数时，究竟是否应使用TMA？若使用，又该搭配还是不搭配集群多播？我们通过一项基于工作负载的实证研究，在H100平台上填补了这一空白。我们系统地梳理了TMA、多