아트팩트 증류: 프런티어 모델에서 소형 언어 모델로의 학습 없이 이전하기
arXiv:2610.37680v1 발표 유형: 신규 요약: 프런티어 모델과 소형 언어 모델 간의 격차를 해소하는 일반적인 접근법은 증류입니다. 즉, 소형 모델(학생)을 프런티어 모델(교사)의 출력에 대해 미세 조정함으로써 이전 작업을 학습 계산에 의존하게 만들고, 전달된 지식을 상당히 불투명하게 만듭니다. 우리는 아트팩트 증류를 제안합니다. 교사가 학습 사례를 해결하고 그 문제 해결 절차를 외부화하여 아트팩트 은행으로 저장하며, 학생은 추론 시 해당 은행을 조회합니다. 이 과정에서는 파라미터 업데이트가 전혀 발생하지 않습니다. 네 가지 LiveBench 과제에서, Claude Opus 4.5가 작성한 은행을 사용하면 Claude Haiku 4.5는 공간 추론에서 무보조 Claude Sonnet 4.5보다 60%의 비용으로 더 높은 점수(0.707 대 0.647)를 기록하며, 테이블 조인에서도 Sonnet 4.5 수준에 도달하는데 그 비용은 89%에 불과합니다. 동일한 원시 은행은