요약: 대규모 언어 모델(LLM) 서비스는 추론 처리량을 높이기 위해 배치 처리에 의존하지만, 키-값(KV) 캐시는 시퀀스 길이에 따라 증가하여 GPU 상주 동시성을 제한한다. CPU 오프로드를 통해 호스트 메모리를 활용해 KV 용량을 확장할 수 있지만, 기존 시스템은 여전히 대부분 GPU에 의해 제한된다. CPU 상주 요청은 GPU 스케줄러가 적절한 겹침 기회를 제공할 때에만 진행되기 때문이다. 그 결과, 호스트 메모리와 CPU 연산은 독립적인 서비스 자원으로 작용하지 못하며, 이로 인해 부하 하에서 CPU 측 진행이 간헐적으로 발생하고 꼬리 부분의 토큰 간 지연(ITL)이 증가하게 된다.
우리는 호스트를 독립적으로 스케줄링되는 디코딩 엔진으로 전환하는 LLM 서비스 런타임인 DualPace를 제시합니다. DualPace는 두 개의 엔진 간에 스케줄링 권한을 분리합니다: GPU 엔진은 프리필과 GPU 상주 디코딩을 수행하고, AMX 지원 CPU 엔진은 CPU 상주 디코딩을 독립적으로 배치하고 진행합니다. 이들 엔진은 스케줄링에서는 분리되어 있지만 실행에서는 협력합니다: CPU는 로컬에서 완전한 디코딩 반복을 수행하거나 밀도가 높은 단계에 대해 GPU Dense Assist를 선택적으로 호출할 수 있으며, 오프라인 프로파일은 하드웨어별 배치와 라우팅을 안내합니다.
우리의 평가에 따르면, 디코딩 중심 시나리오에서 DualPace는 최첨단 오픈소스 CPU 오프로드 시스템인 NEO에 비해 서비스 처리량을 6.9%~43.2% 향상시키며, 널리 사용되는 GPU 서비스 시스템인 vLLM에 비해서는 11.5%~90.6% 개선합니다. 동시에 지연 시간은 동일한 수준을 유지합니다. 또한 DualPace는 vLLM 대비 NEO의 P99 첫 토큰 도착 시간(TTFT) 우위를 그대로 보존하면서, 동일한 P99 ITL 수준에서도 NEO보다 7.3%~50.5% 높은 요청 처리율을 달성합니다.
제출 기록
Access Paper:
PDF 보기
HTML(실험적)
TeX 소스
추가 기능
오디오 요약
현재 탐색 컨텍스트:
참고문헌 및 인용
구글 학술 검색
시멘틱 스콜라
북마크
기관
arXivLabs는 협업자가 당사 웹사이트에서 새로운 arXiv 기능을 직접 개발하고 공유할 수 있도록 하는 프레임워크입니다.
arXivLabs와 협력하는 개인과 조직 모두는 개방성, 커뮤니티, 탁월성, 그리고 사용자 데이터 프라이버시라는 당사의 가치를 수용하고 이를 준수해 왔습니다. arXiv은 이러한 가치에 전념하며, 이들 가치를 준수하는 파트너들과만 협력합니다.
arXiv 커뮤니티에 가치를 더할 프로젝트 아이디어가 있으신가요? arXivLabs에 대해 자세히 알아보세요.