摘要：大型语言模型（LLM）代理正日益以异步方式执行任务：主代理在子代理运行的同时继续工作，而任务状态可能在其结果到达之前就已发生变化。主代理必须决定哪些工作需要更新或保留、哪些检查需要重复，同时避免进行被禁止的修改。仅凭最终任务的成功并不能说明这些结果是否被正确处理，而且自然的异步到达难以复现。我们提出了 Async-RBench，一个用于评估 LLM 代理异步任务执行的基准，包含涵盖八种场景的 200 个可执行任务。场景控制器通过预定义的任务状态条件来调控结果的交付，而事件响应契约（ERC）则明确规定了每条响应必须改变、保留、避免以及重新验证的内容。动态重规划得分（DRS）对响应过程与结果给予同等权重，并与任务成功分开报告。我们对九个代理进行了评估，发现其 DRS 得分为 19.2 至 45.1，其中最低分出现在重复报告和子代理失败的情形下。按照我们的执行协议，所有九个代理在异步交付下的任务成功率均低于批量交付（平均分别为 26.0% 和 29.7%）。对于其中三个代理，每次收到结果后让主代理重建计划，也只能使 DRS 提高 2.6 至 3.5 分。综上所述，这些发现凸显了可靠异步任务执行所面临的挑战，以及在评估端到端任务成功的同时，还需考察代理如何处理传入结果的必要性。
提交历史
访问 Paper：
查看PDF
HTML（实验性）
TeX 源代码
附加功能
音频摘要
当前浏览上下文：
参考文献与引用
谷歌学术
语义学者
书签
机构
arXivLabs 是一个框架，允许合作者直接在我们的网站上开发并共享新的 arXiv 功能。
无论是个人还是与 arXivLabs 合作的机构，都已认同并践行我们所倡导的开放、社区、卓越以及用户数据隐私等价值观。arXiv 致力于坚守这些价值，并且只与同样秉持这些价值观的合作伙伴开展合作。
您是否有一个能为 arXiv 社区创造价值的项目构想？欢迎了解更多关于 arXivLabs 的信息。