온폴리시 대 오프폴리시를 넘어: LLM 에이전트 디스틸레이션은 어느 수준에서 학생 모델을 따라야 할까?

arXiv:2610.31918v1 발표 유형: 신규 초록: 대화형 LLM 에이전트를 디스틸링할 때는 교사가 생성한 시연과 학생이 생성한 경험 사이에서 선택해야 하며, 이는 대략 오프폴리시 디스틸링과 온폴리시 디스틸링에 해당합니다. 두 방법 모두 효과가 입증되었지만, 우리는 이러한 구분이 본질적으로 계층적이라고 주장합니다. 즉, 상호작용 이력을 유도하는 정책과 현재 행동의 토큰 접두사를 생성하는 정책이 반드시 동일할 필요는 없습니다. 우리는 이러한 두 수준의 온폴리시성을 체계화하고, 이들 간의 조합, 혼합 비율 및 학습 스케줄을 명시적으로 제어할 수 있도록 하는 계층적 에이전트 디스틸링 프레임워크를 제안합니다. 우리는 이 문제를 자기 디스틸링 방식으로 연구하며, 여기서 고정된 교사는 학생이 접근할 수 없는 과제 지침에 접근할 수 있습니다. 그리고