아티팩트 증류: 프런티어 언어 모델에서 소규모 언어 모델로의 학습 없이 전이

arXiv:2610.37680v1 발표 유형: 신규

요약: 프런티어 모델과 소규모 언어 모델 간의 성능 격차를 줄이는 방법으로는 일반적으로 디스틸레이션 기법이 사용됩니다. 이는 소규모 모델(학생)을 프런티어 모델(교사)의 출력에 대해 미세조정하는 방식으로, 전이 과정이 학습용 컴퓨팅 자원에 의존하게 되며 전달된 지식은 상당히 투명하지 않은 상태로 남게 됩니다. 우리는 아티팩트 디스틸레이션을 제안합니다. 교사가 학습 사례를 해결하고 그 문제 해결 절차를 아티팩트 은행으로 외부화한 뒤, 학생은 추론 시 해당 은행을 조회하여 활용하며, 이 과정에서는 파라미터 업데이트가 전혀 이루어지지 않습니다. LiveBench의 네 가지 과제에서, Claude Opus 4.5가 작성한 은행을 활용하면 Claude Haiku 4.5는 공간 추론에서 비지원형 Claude Sonnet 4.5보다 60%의 비용으로 더 높은 점수(0.707 대 0.647)를 기록했으며, 테이블 조인 작업에서는 Sonnet 4.5 수준에 도달하는 데 89%의 비용만 들였습니다. 또한 동일한 원시 은행을 사용했을 때 Qwen3.5-27B의 평균 점수는 0.730에서 0.800으로 상승하여, 전이가 단순히 교사 모델 계열에만 국한되지 않음을 보여줍니다.