FairStress:LLMの意思決定における対称的ロバスト性を評価するための新しい公平性評価フレームワーク
FairStressは、大規模言語モデル(LLM)が人口統計学的アイデンティティの置換シナリオにおいて示す意思決定の安定性、解釈の一貫性、および内部表現の対称性に焦点を当てた新たなベンチマークであり、モデルには「反ステレオタイプ的過剰補正」などの系統的な行動バイアスが存在することを明らかにするとともに、主流の評価手法(例:BBQ)がパラダイムの違いにより偏見の方向性を誤って判断するおそれがあることを指摘しています。