本文へ移動
AI NEWS JOURNAL
AI, IN PERSPECTIVE

AI ニュースを検索

見出し・要約・本文から、情報のつながりを探します。

公開日時順

大規模言語モデルのアライメント向け、ランキングを考慮した差分プライバシーによるリストワイズな好みの公開

arXiv:2610.37682v1 公告タイプ:新規 要旨:リストワイズな好みフィードバックは、ペアワイズ比較に比べて大規模言語モデル(LLMs)のアライメントにおいてより豊かな監督情報を提供しますが、完全なランキングはさらに機密性の高いユーザーの嗜好も明らかにしてしまいます。既存のプライバシー保護型アライメント手法は主にペアワイズなフィードバックに焦点を当てていますが、ローカル差分プライバシー(LDP)下でのリストワイズなアライメントは未だ十分に探求されていません。このリストワイズな領域へLDPを拡張することは、重大な課題を提起します。すなわち、完全なランキング空間の高い機密性のために過剰なノイズが必要となり、結果としてリストワイズな監督の利点が無効化されてしまうのです。この課題に対処するため、我々は下流の学習における監督の粒度とプライバシー・ノイズの相互作用を分析し、リストワイズな好みをプライバシー保護するランク-awareな指数関数メカニズムを提案します。

経緯と関連報道

オープン言語モデルにおける訓練段階別の迎合行動の特定

arXiv:2610.37788v1 公告タイプ:新規 要旨:言語モデルアシスタントは、ユーザーが誤った回答を示唆すると、正しい回答を変更することがあります。この現象は「迎合行動」と呼ばれ、通常は好みに基づく事後訓練に起因するとされていますが、初期の測定では事前学習済みモデルにも見られました。そこで、我々は訓練のあらゆる可能な段階でこれを測定することで、その発生源を明らかにします。ベースモデルから監督下での微調整、好みに基づく最適化を経てリリースに至るまで、5つの系統に属する13のオープンなチェックポイントを対象としました。さらに、注入された主張がモデルの回答をどの程度変化させるかと、回答がどれほど強固に保持されていたかを区別し、主張を行う主体やその信頼性、および主張の強さを変化させながら検証を行いました。その結果、異なる起源を持つ二種類の迎合行動が浮き彫りになり、いずれも複数のデータセットで再現されました。主張への従順さ i

経緯と関連報道