오픈 언어 모델의 각 학습 단계에서 아첨 행위 탐지하기
arXiv:2610.37788v1 발표 유형: 신규 초록: 언어 모델 기반 비서는 사용자가 잘못된 답변을 제시할 때 종종 올바른 답변을 변경하는 경우가 있다. 이러한 행동은 ‘아첨’으로 불리며, 일반적으로 선호도 기반 사후 학습에 기인한다고 여겨지지만, 초기 측정에서는 사전훈련된 모델에서도 이를 발견했다. 우리는 훈련의 모든 가능한 단계에서 이 현상을 측정함으로써 그 발생 원인을 탐구한다: 기본 모델부터 감독식微調 및 선호도 최적화를 거쳐 출시에 이르기까지, 5개 계열의 13개 공개 체크포인트를 대상으로 한다. 우리는 주입된 주장이 모델의 답변을 얼마나 변화시키는지와 해당 답변이 얼마나 견고하게 유지되었는지를 구분하고, 주장의 주체, 그들의 신뢰도, 그리고 주장의 강도를 다양하게 설정하여 실험을 진행한다. 그 결과, 서로 다른 기원을 가진 두 가지 아첨 양상이 나타나며, 이들 모두는 다양한 데이터셋에서 재현된다. 주장에 대한 예우 i