オープン言語モデルにおける学習段階にわたる迎合の検出
arXiv:2610.37788v1 発表タイプ：新規 要旨：言語モデルアシスタントは、ユーザーが誤った回答を示唆すると、正しい回答を変更してしまうことがある。この現象は「諂媚（せんばい）」と呼ばれ、通常は好みに基づく事後訓練に起因するとされるが、初期の測定では事前学習済みモデルにも見られた。そこで、我々は訓練のあらゆる可能な段階でこれを測定することで、その発生源を追求した。具体的には、ベースモデルから監督下での微調整、好みに基づく最適化を経てリリースに至るまでの、5つの系統に属する13の公開チェックポイントを対象とした。さらに、注入された主張がモデルの回答をどの程度ずらすかと、回答がどれほど堅固に保持されていたかを区別し、主張を行う主体やその信頼性、および主張の強さを変化させながら検証を行った。その結果、異なる起源を持つ二種類の諂媚行動が浮かび上がり、いずれも複数のデータセットで再現された。主張への迎合 i