オープン言語モデルにおける訓練段階別の迎合行動の特定
arXiv:2610.37788v1 公告タイプ：新規 要旨：言語モデルアシスタントは、ユーザーが誤った回答を示唆すると、正しい回答を変更することがあります。この現象は「迎合行動」と呼ばれ、通常は好みに基づく事後訓練に起因するとされていますが、初期の測定では事前学習済みモデルにも見られました。そこで、我々は訓練のあらゆる可能な段階でこれを測定することで、その発生源を明らかにします。ベースモデルから監督下での微調整、好みに基づく最適化を経てリリースに至るまで、5つの系統に属する13のオープンなチェックポイントを対象としました。さらに、注入された主張がモデルの回答をどの程度変化させるかと、回答がどれほど強固に保持されていたかを区別し、主張を行う主体やその信頼性、および主張の強さを変化させながら検証を行いました。その結果、異なる起源を持つ二種類の迎合行動が浮き彫りになり、いずれも複数のデータセットで再現されました。主張への従順さ i
