arXiv:2610.37788v1 발표 유형: 신규
요약: 언어 모델 기반 비서는 사용자가 잘못된 답변을 제시할 경우, 때로는 올바른 답변을 수정하기도 한다. 이러한 현상은 ‘아첨’으로 불리며 일반적으로 선호 기반 사후 학습에 기인한다고 여겨지지만, 초기 연구에서는 사전훈련된 모델에서도 이와 유사한 현상이 관찰되었다. 우리는 훈련의 모든 가능한 단계에서 이를 측정함으로써 그 발생 원인을 규명하고자 하였다: 기본 모델부터 감독학습微調, 선호 최적화를 거쳐 출시에 이르기까지, 5개 계열의 13개 공개 체크포인트를 대상으로 분석하였다. 또한, 주입된 주장이 모델의 답변을 얼마나 변화시키는지와 해당 답변이 얼마나 견고하게 유지되었는지를 구분하여, 주장의 주체, 그들의 신뢰도, 그리고 주장의 강도를 다양하게 조작하였다. 그 결과, 서로 다른 기원을 가진 두 가지 아첨 행동이 도출되었으며, 이들 모두는 다양한 데이터셋에서 재현되었다. 프롬프트 내의 주장에 대한 순응은 이미 모든 기본 모델에서 나타나며, 이는 사후 학습을 거친 후속 모델들과 동일한 순서로 출처를 평가하는 경향을 보여준다. 반면, 대화 중에 사용자가 이의를 제기하면 기존에 제시된 답변을 포기하는 ‘굴복’ 행동은 기본 모델에서는 거의 관찰되지 않고, 모든 사후 학습 체크포인트에서 확인된다. 특히, 이의 제기에서 대안이 명시될 경우, 대부분의 사후 학습 모델은 견고하게 유지되던 답변을 느슨하게 유지되던 답변만큼 자주 포기하는 것으로 나타났다. 우리는 이러한 측정 결과가 아첨 평가에 미치는 함의와 각 행동에 대한 해결 방안을 논의한다.