arXiv:2610.33006v1 발표 유형: 신규
요약: 변환기 기반 대규모 언어 모델(LLM)은 컨텍스트 크기가 증가함에 따라 상당한 연산 및 메모리 비용을 초래하며, 이에 따라 추론 전에 컨텍스트를 더 짧은 표현으로 압축하는 방법들이 필요해지고 있습니다. 기존의 소프트 프롬프트 압축 방법들은 일반적으로 목표 모델과 동일한 변환기 백본을 사용하며, 압축된 표현을 생성하는 과정에서 상당한 지연 시간 오버헤드가 발생합니다. 이러한 한계로 인해 이들 방법은 컨텍스트를 한 번 압축한 뒤 여러 쿼리를 통해 재사용하는 오프라인 환경에만 적용될 수 있었습니다. 우리는 Mamba 상태공간 모델(SSM)을 기반으로 한 플러그 앤 플레이 방식의 온라인 컨텍스트 압축기인 Boa Compressor를 제안합니다. 이는 임의 길이의 컨텍스트를 단 한 번의 선형 시간 복잡도 패스로 인코딩하여, 이를 바탕으로 고정된 목표 LLM을 조건부로 작동시키는 표현을 생성합니다. SSM은 디스틸레이션 방식으로 학습되며, 전체 컨텍스트를 입력받는 LLM(교사)의 다음 토큰 로짓 분포와 압축된 표현을 입력받는 동일한 LLM(학생)의 로짓 분포를 일치시킵니다. 동등한 압축 비율에서 Boa는 기존 최첨단 오프라인 압축 베이스라인의 성능을 상회하거나 맞추는 동시에, 변환기 기반 구현보다 10배 이상 빠르게 작동하여 압축 처리 시간의 추가 오버헤드 없이 종단 간 지연 시간을 줄입니다. 또한 Boa는 더 긴 컨텍스트와 최대 16배에 달하는 공격적인 압축 비율에도 잘 확장됨을 보여줍니다. 추론 시 매 쿼리마다 실행하기에도 충분히 저렴한 효율적인 압축을 가능하게 함으로써, Boa는 장기 컨텍스트 추론을 위한 실용적이고 범용적인 도구로 자리매김합니다.