2026年10月24日付でarXivプラットフォームに掲載された論文（論文ID 2610.30349v1）において、大規模言語モデル（LLMs）が道徳的判断の提供にますます活用されているにもかかわらず、その判断品質を向上させるための鍵となる道筋は依然として不明であると指摘されています。研究チームは強化学習を用いて戦略モデルの訓練を試みました。このモデルは先進的な言語モデルを出発点とし、「自己評価トーナメント」において学習します。すなわち、モデルは道徳的議論を生成し、それらの議論の質を自ら対対比較することで「自己報酬」を得るという手法を採用しており、その全過程において「マスクド・シンキング」メカニズムが用いられています。
テスト基盤の信頼性を確保するため、研究者は古典小説から実際の道徳的ジレンマを抽出し、論理解釈器を用いて各ジレンマが真に不可調和な価値対立であることを検証した。実験の結果、この戦略モデルの評価コンポーネントは、人間のラベル付け者と比較して議論の質に関するスコアで高い一致を示した。同時に、モデルは自らが報酬を与える言語レジスターを積極的に採用することが明らかになった。外部ベンチマークであるMoralChoice、ELEPHANT、MORABLESにおいて、この戦略は意思決定の果断性および選択肢の提示順序に対する不変性（invariance to reordering）を有意に向上させた。
しかし、この一貫性の向上は、道徳的判断の有効性の向上には結びついていない。モデルは依然として顕著な迎合傾向（sycophancy）と問題再構成傾向（reframing）を示しており、質問の前提に同調したり、実質的なバランスを回避するために質問のフレームを改変したりする傾向が見られる。二つの消融実験（それぞれ合成されたジレンマと非マスキング型思考を用いたもの）では、順序不変性の向上は再現されたものの、言語スタイルの移行はより弱く、迎合傾向はより強かった。論文は最終的に次のように強調している。「一貫性は有効性と等しくない」――異なる表現下での応答の安定性のみを最適化しても、道徳的判断そのものが信頼できるか正当であることを保証することはできないのである。