KVStream: 대규모 LLM 서비스에서의 KV 캐싱을 위한 적응형 병렬 스토리지 관리
arXiv:2610.31827v1 발표 유형: 신규 초록: 에이전트 기반, 코드 작성 및 문서 처리 워크로드를 위한 장문 컨텍스트 LLM 서비스에서는 키-값(KV) 캐시가 GPU와 호스트 메모리를 초과하여 사용되므로, 접두사 검색을 위한 추론 단계에서 스토리지 I/O가 핵심 경로로 작용하게 됩니다. 단일 노드 로컬 NVMe는 모든 검색 작업을 담당하는 반면, 노드들이 이미 마운트한 병렬 파일 시스템이나 클라우드 파일 스토어에는 거의 추론 트래픽이 발생하지 않습니다. 우리는 이러한 계층 간의 접두사 검색을 집합 대역폭 스케줄링으로 포착하고, 한 단계의 읽기 작업을 일괄 처리하며, 전방향 패스 이후에 쓰기를 지연하고, 각 청크를 모든 계층에 복제하며, 각 계층이 비워질 때 다음 미처리 청크를 적응적으로 요청하도록 하는 KVStream이라는 KV 캐시 엔진을 제안합니다. 우리의 성능 모델은 이 라우팅 방식이 집합적
