修复评估偏差，以在 Amazon Bedrock 上解锁更优的模型
Property Finder 发现，其视觉AI评估标签中有96.8%源自现有模型，这掩盖了该模型的真实准确率。了解他们如何构建无偏的真值数据、实施进化式提示优化，并在 Amazon Bedrock 上选择了一款更精准且更具成本效益的模型，从而在11项图像质量指标上将成本降低了86%。
AI NEWS JOURNAL
搜索 AI 资讯
检索标题、摘要与正文，把分散的信息连起来。
可复现的评估作为生产型智能体中安全提示压缩的基石
arXiv:2610.31972v1 发布类型：新 摘要：评估那些基于实时、动态变化的企业数据运行的对话代理十分困难：由于后端状态不断更新，重放的会话会逐渐偏离真实情况；而今天构建的基准测试，随着其所描述的数据不断演进，也可能在不知不觉中变得过时。我们提出了一种针对生产级对话代理的离线评估框架，该框架能够在所操作的实时数据发生变化的情况下保持可复现性，并且在基准过时时能够按需重新生成。随后，我们将这一框架用作基于GEPA的提示优化的适应度函数，并通过一个正确性约束机制来防范奖励欺骗。将其应用于一款面向商家的生产级代理后，经过正确性约束的压缩处理，可在不降低保留任务正确率的前提下，将代理的完整提示空间缩小3.5%至7.6%。
