摘要：LLM智能体从公共技能库中检索技能，该库最多可容纳约10万条记录，并服务于众多模型。随着模型性能的不断提升，技能库必须识别出某一特定模型已内化、因而不再需要的技能，并将其退役；然而，目前尚无可靠的方法来衡量技能的内化程度。现有规则仅依据有无某项技能时的性能提升来判定是否退役，而这种提升在技能已被内化的情况下以及当模型与该技能均无法提供相应能力时（我们称此为“未被发现”状态）几乎均为零。为此，我们选择暂不退役该技能，而是基于由该技能衍生的任务对模型进行评分，并仅在另一模型确实因该技能而获益时才信任其高分——因为近一半的高分源自那些任何模型都未受益的任务。在四种模型下，采用一项任务对应一项技能的既定收益规则，能够淘汰超过一半的“未被发现”技能。在SkillsBench上，31项退役中有28项是基于某些测试用例未能完全通过的探测结果作出的，而仅凭无辅助得分进行退役则不会带来任何可检测到的收益。与收益规则相比，无辅助得分在不同任务间的稳定性更高（Cohen’s kappa系数分别为0.42和0.23），但其判别结果因模型而异，因此技能库需针对每个模型分别解读。我们已在四种模型下发布了1,251项技能，并附带相关任务及各项得分数据。
提交历史
访问 Paper：
查看PDF
HTML（实验性）
TeX 源代码
附加功能
音频摘要
当前浏览上下文：
参考文献与引用
谷歌学术
语义学者
书签
机构
arXivLabs 是一个框架，允许合作者直接在我们的网站上开发并共享新的 arXiv 功能。
无论是个人还是与 arXivLabs 合作的机构，都已认同并践行我们所倡导的开放、社区、卓越以及用户数据隐私等价值观。arXiv 致力于坚守这些价值，并且只与同样秉持这些价值观的合作伙伴开展合作。
您是否有一个能为 arXiv 社区创造价值的项目构想？欢迎了解更多关于 arXivLabs 的信息。