超越热度：面向分层内存的ARM SPE云与LLM工作负载高分辨率内存特性分析

摘要：数据分析与大语言模型工作负载对内存的需求快速增长，推高了云和数据中心的内存成本。多级内存已成为一种颇具前景的解决方案，可在性能与成本之间实现平衡。然而，要有效利用多级内存，必须深入理解工作负载的内存行为特征。本文提出了一种高分辨率的内存特性分析方法，用于评估针对特定工作负载的多级内存使用机会。为应对基于ARM架构的处理器在数据中心中的部署日益增多，我们借助ARM最新的统计剖析扩展（SPE）实现了该方法。通过对CloudSuite和LLM应用中的八类内存密集型工作负载进行特性分析，我们识别出各区域特有的访问模式，评估了面向云环境的缓存层次结构的有效性，并提出了基于内存空闲时段与延迟特征的新指标，以确定适用于多级内存的数据放置策略。

提交历史

访问 Paper：

查看PDF

HTML（实验性）

TeX 源代码

附加功能

音频摘要

当前浏览上下文：

参考文献与引用

谷歌学术

语义学者

书签

机构

arXivLabs 是一个框架，允许合作者直接在我们的网站上开发并共享新的 arXiv 功能。

无论是个人还是与 arXivLabs 合作的机构，都已认同并践行我们所倡导的开放、社区、卓越以及用户数据隐私等价值观。arXiv 致力于坚守这些价值观，并且只与同样秉持这些理念的合作伙伴开展合作。

您是否有一个能为 arXiv 社区创造价值的项目构想？欢迎了解更多关于 arXivLabs 的信息。