摘要：语言模型驱动的智能体工作流与以往的智能系统存在根本性差异，其核心在于能够从上下文中的自然语言中学习。这一能力使智能体能够在收到反馈后不断迭代优化自己的回答，而这正是现代智能体工作流中普遍采用的操作模式。然而，当前学术界主要依据Pass@1或Pass@K等指标对模型进行排名，这些指标无法反映模型如何利用先前尝试所获得的反馈。为此，我们提出Seq@K这一自然的评估协议，用于衡量模型在每次先前失败后获得反馈的情况下，是否能在K次连续尝试内解决问题。与那些考察长周期规划的多轮智能体基准不同，Seq@K将反馈驱动的迭代优化这一核心能力加以剥离并予以形式化。我们在由7个基准测试和16个前沿模型构成的集合上对Seq@K进行了评估，并发现Seq@K揭示了一个截然不同的模型选择图景：在Seq@K框架下，（1）模型的排名往往迥异；（2）帕累托前沿包含了更多高效的配置；（3）相较于Pass@K，选择最优模型配置所带来的收益可能扩大或缩小。此外，我们还表明，通过分析模型在Seq@K下的轨迹，有助于刻画其迭代优化行为，例如模型响应反馈中提出的问题的速度，以及其对自身答案的坚持程度。最后，我们研究了反馈性质对模型迭代优化的影响，指出从业者必须谨慎设计并评估迭代式智能体系统的反馈回路。综上所述，这些结果表明，Seq@K为通常在反馈循环中运行的智能系统提供了一种更为忠实的评价指标，并强调在评估此类系统所用模型时有必要纳入Seq@K考量。
主题：| 人工智能（cs.AI） 引用格式：| arXiv:2610.37859 [cs.AI] | （或
arXiv:2610.37859v1 [cs.AI] 适用于本版本） | https://doi.org/10.48550/arXiv.2610.37859
点击了解更多信息
通过DataCite发布的arXiv DOI（待注册）
提交历史
访问论文：
查看PDF
HTML（实验性）
TeX源代码
附加功能
音频摘要
当前浏览上下文：
参考文献与引用
Google 学术搜索
Semantic Scholar
书签
机构
arXivLabs 是一个框架，允许合作者直接在我们的网站上开发并共享新的 arXiv 功能。
无论是个人还是与 arXivLabs 合作的组织，都已认同并践行我们所倡导的开放、社区、卓越以及用户数据隐私等价值观。arXiv 致力于这些价值理念，并且只与同样秉持这些理念的合作伙伴开展合作。
您是否有一个能为 arXiv 社区创造价值的项目构想？欢迎了解更多关于 arXivLabs 的信息。