DualPace：用于大语言模型推理的解耦调度与GPU-CPU协同解码

arXiv：2610.33501v1 发布类型：新 提要：大型语言模型（LLM）的推理服务依赖于批处理以提升推理吞吐量，但键值（KV）缓存会随序列长度增长，从而限制了GPU上的并发度。通过CPU卸载，可以利用主机内存扩展KV缓存容量，然而现有系统在很大程度上仍受GPU瓶颈制约：只有当GPU调度器能够提供合适的重叠机会时，CPU驻留的请求才能取得进展。因此，主机内存与CPU计算无法作为独立的推理资源发挥作用，导致负载下CPU端进度波动加剧，并使尾部词间延迟（ITL）显著增加。我们提出了DualPace，一种将主机转变为独立调度解码引擎的LLM推理运行时。DualPace在两个引擎之间划分了调度权：GPU引擎