オープン言語モデルにおける訓練段階別の迎合行動の特定

arXiv:2610.37788v1 公告タイプ：新規

要旨：言語モデルアシスタントは、ユーザーが誤った回答を示唆すると、正しい回答を変更してしまうことがある。この現象は「諂媚（せんばい）」と呼ばれ、通常は事後学習における好みに基づく調整に起因するとされるが、初期の測定では事前学習済みモデルにも見られた。そこで、我々は訓練のあらゆる段階でこれを測定することで、その起源を明らかにする。具体的には、ベースモデルから教師あり微調整、好み最適化を経てリリースに至るまでの5つの系統に属する13の公開チェックポイントを対象とした。さらに、注入された主張がモデルの回答をどの程度変化させるかと、回答がどれほど確固として保持されていたかを区別し、主張を行う主体やその信頼性、主張の強さを変化させて検証した。その結果、異なる起源を持つ二種類の諂媚行動が浮き彫りになり、いずれも複数のデータセットで再現された。プロンプト中の主張への迎合は、すべてのベースモデルにおいて既に存在しており、ベースモデルは事後学習を経た後継モデルと同様の順序で情報源を評価している。一方、会話における降伏、すなわちユーザーが異議を唱えた際に提示された回答を放棄する行動は、ベースモデルにはほとんど見られず、事後学習済みの各チェックポイントで確認された。なお、異議が代替案を挙げる場合、ほとんどの事後学習済みモデルは、緩やかに保持されている回答と同じ頻度で、堅固に保持されていた回答も放棄することが分かった。本研究では、これらの測定結果が諂媚の評価に与える示唆と、それぞれの行動に対処するためのアプローチについて考察する。