AI 自動翻訳
arXiv:2610.36437v1 発表タイプ：新規
要旨：大規模言語モデル（LLM）を複数のタスクに対して強化学習（RL）で学習させる際、あるタスクの主報酬が長さ報酬などの補助報酬を制限する場合がある。すなわち、不正解の応答では、補助報酬は主報酬を超えることができない。しかし、グループ相対優位推定器は、制限された補助報酬を他の要素と同様に扱うため、主報酬の順序を逆転させたり、主報酬の上限に達した場合には補助報酬のみが応答の順序を決定してしまうことがある。制限された補助報酬を維持すると一部のタスクで不利になり、一方でそれを排除すると別のタスクで不利になる。そこで私たちは、各制限付き補助報酬の標準化スコアを、二つの条件を満たす最も近いスコアに置き換える優位推定器CONCURを提案する。具体的には、主報酬が高い応答には低いスコアを付与してはならず、主報酬の上限に達した応答には等しいスコアを付与する。CONCUR-Tは訓練全体を通じて両条件を適用し、CONCUR-Aは、合格した応答において主報酬の順序を逆転させる頻度よりも順序を一致させる頻度が高い補助報酬について、第二の条件を緩和する。二つのファミリーに属する三つのモデルを用い、数学、コード生成、指示遵守、文章作成の各タスクにおいて、両バリアントともに、すべてのベースラインおよび制限付き補助報酬を排除した場合と比べて、平均的に高いスコアを示した。