ゲインを超えて：エージェントスキルの引退に向けたスキルの定着度測定

arXiv:2610.32322v1 発表タイプ：新規 要旨：LLMエージェントは、最大約10万件のエントリーを保持し、多数のモデルにサービスを提供する公開ハブからスキルを取得します。モデルが進化するにつれて、ハブは特定のモデルが既に内包しているスキルを見出し、そのモデルにとってそれらのスキルが不要であることを確認した上で、当該モデル向けにそれらのスキルを廃止しなければなりません。しかし、これまでのところ、内包の程度は既知の信頼性で測定されていません。従来の手法では、スキルを廃止するかどうかを判断する際、そのスキルを使用した場合と使用しない場合の実行結果を比較し、得られた効果のみに基づいて判定を行ってきました。ところが、内包されたスキルの場合も、モデルもスキルもその能力を発揮しない状況（我々はこれを「未解明」と呼んでいます）においても、得られる効果はほぼゼロです。そこで、私たちは代わりにそのスキルを保留し、当該スキルを基に合成したタスクでモデルを評価します。そして、高い無補助スコアが得られるのは、別のモデルがそのスキルによって利益を得る場合に限ると信じています。なぜなら、高いスコアのほぼ半数は、そのスキルが関与しないタスクで得られているからです。