超越收益：用于代理技能退役的技能内化度量
arXiv：2610.32322v1 发布类型：新 摘要：LLM智能体从公共技能中心检索技能，这些中心最多可存储约10万条记录，并为众多模型提供服务。随着模型性能的不断提升，技能中心必须识别出某一模型已内化哪些技能——即该模型已不再依赖这些技能——并将其从该模型的技能库中移除；然而，目前尚无可靠的方法来衡量技能的内化程度。现有规则仅依据有无某项技能时的运行表现差异来进行判断，而这种差异往往微乎其微。无论是对于已被内化的技能，还是在模型与该技能均无法实现相应能力的情况下——我们称这种状态为“未被发现”——其收益几乎都接近于零。因此，我们改采另一种做法：暂不启用该技能，而是基于由该技能衍生的任务对模型进行评分，并且只有当另一模型确实因该技能而获益时，才信任模型在无辅助条件下的高分；因为事实上，近一半的高分都来自那些并未真正体现该技能作用的任务。
