AI 自动翻译
摘要：评估那些基于实时、动态变化的企业数据运行的对话代理十分困难：由于后端状态不断更新，重放的会话会随之发生偏差；而当下构建的基准测试也可能在其所描述的数据发生变化时悄然过时。我们提出了一种面向生产环境对话代理的离线评估框架，该框架能够在代理所处理的实时数据发生变化的情况下保持可复现性，并在基准过时时按需重新生成。随后，我们将这一框架用作基于GEPA的提示优化的适应度函数，并通过一个正确性约束机制防止奖励黑客行为。将该方法应用于一款面向商家的生产级对话代理后，在不降低保留任务正确率的前提下，经过正确性约束的压缩使代理的完整提示空间缩小了3.5%至7.6%，且这一效果在三个独立的主模型族中均得到一致验证；其中在一个模型族中，正确性甚至实现了显著提升。
提交历史
访问 Paper：
查看PDF
HTML（实验性）
TeX 源代码
附加功能
音频摘要
当前浏览上下文：
参考文献与引用
谷歌学术
语义学者
书签
机构
arXivLabs 是一个框架，允许合作者直接在我们的网站上开发并共享新的 arXiv 功能。
无论是个人还是与 arXivLabs 合作的机构，都已认同并践行我们所倡导的开放、社区、卓越以及用户数据隐私等价值观。arXiv 致力于坚守这些价值观，并且只与同样秉持这些理念的合作伙伴开展合作。
您是否有一个能为 arXiv 社区创造价值的项目构想？欢迎了解更多关于 arXivLabs 的信息。