요약: 대규모 언어 모델(LLM)은 출력 분포가 익숙한 의미적 패턴에 집중되는 모드 붕괴 현상을 보인다. 다양성이 사라지면, 반복적인 샘플링은 발견이 아니라 단순한 의미적 반복으로 전환되어 희귀하지만 더 강력한 해법들이 드러나기 어려워지고, 자가 진화와 지속적 학습을 유지하기도 어렵게 된다. 대부분의 해결책은 추론 단계에서만 개입하여 샘플을 조정할 뿐, 다양성을 모델의 핵심 역량으로 구현하지는 않는다. 우리는 훈련 시점에서 다양성을 모델 내부에 내재화하는 프레임워크인 PRISM을 제안한다. PRISM은 (i) 각 프롬프트에 대해 다양하면서도 정확한 다중 교사 솔루션을 매칭하는 부분모듈러 큐레이션과, (ii) 특수 토큰 변형을 독특한 출력을 샘플링하기 위한 암묵적 신호로 전환하는 확률적 임베딩 변조를 결합한다. 이론적 분석을 통해 해당 메커니즘의 안정성이 입증되었다. WritingPrompts와 BookMIA에서 PRISM은 품질-다양성 경계를 외연으로 확장하여, 모든 모델-벤치마크 조건에서 최고 수준의 생성 품질을 달성하는 동시에 두 개의 오픈 웨이트 모델 계열에서 가장 강력하거나 거의 최강 수준의 의미적 다양성을 유지한다. 또한 수학 및 코드 벤치마크에서도 샘플링 효율을 향상시킨다. 추론 단계를 넘어선 PRISM은 강화학습을 위한 더욱 견고한 기반을 제공하며, 다양한 롤아웃을 지속적으로 유지하고 RL 훈련 과정에서 흔히 관찰되는 다양성 붕괴 현상을 완화한다.
제출 기록
Access Paper:
PDF 보기
HTML(실험적)
TeX 소스
추가 기능
오디오 요약
현재 탐색 컨텍스트:
참고문헌 및 인용
구글 학술 검색
시멘틱 스콜라
북마크
기관
arXivLabs는 협업자가 당사 웹사이트에서 새로운 arXiv 기능을 직접 개발하고 공유할 수 있도록 하는 프레임워크입니다.
arXivLabs와 협력하는 개인과 조직 모두는 개방성, 커뮤니티, 탁월성, 그리고 사용자 데이터 프라이버시라는 당사의 가치를 수용하고 이를 준수해 왔습니다. arXiv은 이러한 가치에 전념하며, 이들 가치를 준수하는 파트너들과만 협력합니다.
arXiv 커뮤니티에 가치를 더할 프로젝트 아이디어가 있으신가요? arXivLabs에 대해 자세히 알아보세요.