可复现的评估作为生产型智能体中安全提示压缩的基石

arXiv:2610.31972v1 发布类型：新 摘要：评估那些基于实时、动态变化的企业数据运行的对话代理十分困难：由于后端状态不断更新，重放的会话会逐渐偏离；而今天构建的基准测试，随着其所描述的数据不断演进，也可能在不知不觉中变得过时。我们提出了一种针对生产级对话代理的离线评估框架，该框架能够在所处理的实时数据发生变化的情况下保持可复现性，并且在基准过时时能够按需重新生成。随后，我们将这一框架用作基于GEPA的提示优化的适应度函数，并通过一个正确性约束机制来防范奖励欺骗。将其应用于一款面向商家的生产级代理后，经过正确性约束的压缩使该代理的完整提示空间缩小了3.5%至7.6%，同时并未导致保留任务的正确率出现下降，考虑