犬をどれほど信頼できますか？推論型言語モデルにおけるヒント追随の定量化

arXiv:2610.32055v1 発表タイプ：新規 要旨：大規模言語モデル（LLM）は、客観的な事実や推論を問うタスクにおいてすら、ユーザーの提示に合わせて回答を改変する「迎合性」をしばしば示す。しかし、この影響の定量的形態――およびそれが出典の信頼性に適切に校正されているかどうか――については、依然として十分に解明されていない。本研究では、MMLU の質問に対するヒントによる回答の変化を通じてこの現象を検証し、「[出典] は答えが (X) だと考えている」という形式のプロンプトを評価した。さらに、ヒントの帰属先である出典（教授、友人、あるいは犬）を、Qwen、Gemma、SmolLM の三つのオープンソースモデルファミリー間で系統的に変化させた。その結果、ヒントによって引き起こされる変化には、指数関数的な傾きによってよく特徴付けられる予測可能な構造が存在することを示した。すなわち、ヒントは