요약: KV 캐시 재사용은 LLM 서비스를 가속화하지만, 기존 시스템들은 호스트 DRAM과 NVMe SSD를 계층형 하위 구조로 관리하며, DRAM을 중간 캐시로 활용합니다. 그러나 실제 생산 환경의 LLM 워크로드는 이러한 계층 구조의 두 가지 전제를 모두 무너뜨립니다. 첫째, 이중 모드 재사용 방식은 DRAM의 시간적 필터링 기능을 무력화합니다. 왜냐하면 워크로드는 재사용 거리가 긴 일회성 블록 또는 DRAM 용량을 초과하는 수기가바이트 규모의 에이전트 세션으로 구성되어 있어, SSD가 핵심 읽기 경로에 위치하게 되기 때문입니다. 둘째, DRAM의 스테이징 및 추출 순서에 따른 배치 방식은 SSD 복원 과정의 병목 현상을 야기합니다. 실행 중인 접두사들을 위해 호스트 스테이징 버퍼를 유지하면 부하 상황에서 경합이 발생해 프리페치가 중단되며, 점진적인 추출 방식은 한 세션의 블록들을 SSD 전체에 분산시켜 대규모 연속 읽기를 방해합니다.
우리는 호스트 DRAM과 NVMe SSD를 통합된 64비트 주소 공간에서 동등한 매체로 노출하는 평면형 KV 저장 아키텍처인 FlatCake을 제시합니다. KV 블록이 한 번 쓰이고, 변경 불가능하며, 세션 범위에서 재사용된다는 점을 활용하여, FlatCake은 생성 시 각 블록을 대상 매체에 세션 연속적이고 계층 우선 순서로 직접 배치하며 이후에는 이동시키지 않습니다. FlatCake은 GPUDirect Storage를 통해 병합된 SSD 읽기 작업을 제한된 GPU 윈도우로 직접 스트리밍하고, DRAM과 SSD 요청 큐를 분리하여 선두 차단 현상을 방지합니다. DeepSeek-V4-Flash를 사용한 실제 Claude Code 추적에서, FlatCake은 부하가 증가할수록 캐시 히트율을 94%로 유지하며(반면 Mooncake은 64%에 그침), Mooncake의 SSD 읽기 증폭 비율을 $6.5\times$~$6.7\times$ 수준으로 줄이고, 최대 부하 시 평균 TTFT를 $1.6\times$ 감소시키는 동시에 전체 토큰 처리량을 $1.6\times$ 향상시킵니다. Llama-3.1-70B 기반 8K~128K 컨텍스트에서 FlatCake은 Mooncake 대비 평균 TTFT를 최대 $2.4\times$ 더 낮추고, Mooncake-GDS 대비 $1.8\times$ 더 낮춥니다.
댓글: | 도표 10개 주제: | 분산, 병렬 및 클러스터 컴퓨팅(cs.DC); 운영체제(cs.OS) 인용: | arXiv:2610.38355 [cs.DC] | (또는
arXiv:2610.38355v1 [cs.DC] 이 버전) | https://doi.org/10.48550/arXiv.2610.38355
더 알아보기
DataCite를 통한 arXiv 발행 DOI(등록 대기 중)
투고 이력
논문 보기:
PDF 보기
HTML(실험적)
TeX 소스
추가 기능
오디오 요약
현재 탐색 컨텍스트:
참고문헌 및 인용
Google 학술검색
Semantic Scholar
북마크
기관
arXivLabs는 협력자가 당사 웹사이트에서 새로운 arXiv 기능을 직접 개발하고 공유할 수 있도록 하는 프레임워크입니다.
arXivLabs와 함께 일하는 개인과 조직 모두는 개방성, 커뮤니티, 우수성, 그리고 사용자 데이터 개인정보 보호라는 당사의 가치를 수용하고 받아들였습니다. arXiv은 이러한 가치에 헌신하며, 이에 부합하는 파트너들과만 협력합니다.
arXiv 커뮤니티에 가치를 더할 프로젝트 아이디어가 있으신가요? arXivLabs에 대해 자세히 알아보세요.