ToolTurns：多轮对话中 LLM 智能体的基准测试

摘要：使用工具的语言模型正越来越多地应用于对话场景，但大多数大规模工具使用基准测试都侧重于孤立的请求。我们提出了 ToolTurns 基准测试，包含 2,620 个问题，涵盖 1,827 种工具和 11,004 个 API 端点，涉及 47 个类别。每个对话都从一个有意描述不充分的初始请求开始，并通过两个依赖上下文的后续交互延续，以测试澄清、工具使用以及对话上下文的保持能力。我们还引入了一个开源用户模拟器，该模拟器可通过对话揭示被隐藏的上下文并生成后续请求，并配备了一个检查-修正流水线来改进其交互轮次。在九个语言模型中，表现最佳的智能体解决了 69.6% 的单个请求，但仅完成了 39.8% 的完整对话。根据这一评估协议，所有受测模型在后续请求上的成功率均低于初始请求，而对话质量评分与任务成功率对模型的排名可能大相径庭。成对的轮次级评估表明，检查-修正机制减少了检测到的对话缺陷，且盲测的人类评价更倾向于修订后的交互轮次。ToolTurns 为评估智能体在使用工具的多轮对话中能否持续达成任务目标提供了一个测试平台。 提交历史 访问论文： 查看 PDF HTML（实验性） TeX 源代码 附加功能 音频摘要 当前浏览上下文： 参考文献与引用 Google 学术搜索 Semantic Scholar 书签 机构 arXivLabs 是一个框架，允许合作者直接在我们的网站上开发和共享新的 arXiv 功能。 无论是个人还是与 arXivLabs 合作的组织，都已接受并认同我们关于开放、社区、卓越及用户数据隐私的价值观。arXiv 致力于这些 价值观，并且仅与遵守这些价值观的合作伙伴开展合作。 您是否有一个能为 arXiv 社区创造价值的项目构想？请了解更多关于 arXivLabs 的信息。