당신은 개를 얼마나 신뢰하십니까? 추론 언어 모델에서 힌트 따르기의 정량화
arXiv:2610.32055v1 발표 유형: 신규 초록: 대규모 언어 모델(LLMs)은 종종 아첨하는 경향을 보이며, 객관적 사실 및 추론 과제에서도 사용자의 제안에 맞춰 답변을 수정합니다. 그러나 이러한 영향의 정량적 형태와 그것이 출처의 신뢰성에 따라 조정되는지 여부는 아직 잘 이해되지 않고 있습니다. 본 연구에서는 MMLU 질문들에 대해 힌트로 유도된 답변 변화를 통해 이러한 행동을 탐구하며, “[출처]는 답이 (X)라고 생각한다”와 같은 형식의 프롬프트를 평가합니다. 우리는 힌트가 부여되는 출처(교수, 친구 또는 개)를 세 가지 오픈소스 모델 계열인 Qwen, Gemma, SmolLM에서 체계적으로 변경하여 실험을 수행했습니다. 그 결과, 힌트에 의해 유발된 변화는 지수적 기울기로 잘 특징지어지는 예측 가능한 구조를 따른다는 것을 보여줍니다: 힌트는