아티팩트 증류: 프런티어 언어 모델에서 소규모 언어 모델로의 학습 없이 전이
arXiv:2610.37680v1 발표 유형: 신규 초록: 최첨단 언어 모델과 소규모 언어 모델 간의 격차를 좁히는 방법으로는 일반적으로 디스틸레이션 기법이 사용됩니다. 이는 소규모 모델(학생)을 최첨단 모델(교사)의 출력에 대해 미세조정함으로써, 전이 과정이 학습용 컴퓨팅 자원에 의존하게 만들고 전달된 지식은 상당히 투명하지 않은 상태로 남게 합니다. 우리는 아티팩트 디스틸레이션을 제안합니다. 교사는 학습 사례를 해결하고 그 문제 해결 절차를 아티팩트 은행에 외부화하며, 학생은 추론 시 해당 은행을 조회하여 이를 활용합니다. 이 과정에서는 파라미터 업데이트가 전혀 발생하지 않습니다. LiveBench의 네 가지 과제에서, Claude Opus 4.5가 작성한 은행을 사용하면 Claude Haiku 4.5가 공간 추론에서 비지원 Claude Sonnet 4.5보다 60%의 비용으로 더 높은 성능(0.707 대 0.647)을 보이며, 테이블 조인 작업에서는 Sonnet 4.5 수준에 도달하는 데 89%의 비용만 들입니다. 동일한 원시 은행은