检索标题、摘要与正文，把分散的信息连起来。
arXiv:2610.37679v1 发布类型：新 摘要：使用工具的语言模型容易受到间接提示注入的影响，而越来越多的研究试图通过探查模型内部来在不安全操作执行前将其捕获，但所得结果却存在严重分歧。我们认为，这种分歧很大程度上源于评估方法上的缺陷，并提出了一种双层评估协议：在评估与训练数据集中，将“提示注入”与“行为承诺”加以分离。在主要的Qwen AgentDojo基准测试集上，那些基于朴素的“不安全与其余”混合对比进行训练的监控器，大多仅学会识别“暴露”：它们会标记出所有被暴露的轨迹，无论智能体是否真正执行了相应操作，且几乎无法预测哪些情况最终会导致不安全行为。而当仅针对已暴露案例重新训练后，同一类探测器便能预测模型自身发出的不安全工具调用，时间延迟长达两秒。
Property Finder 发现，其视觉AI评估标签中有96.8%源自现有模型，这掩盖了该模型的真实准确率。了解他们如何构建无偏的真值数据、实施进化式提示优化，并在 Amazon Bedrock 上选择了一款更精准且更具成本效益的模型，从而在11项图像质量指标上将成本降低了86%。
arXiv:2610.31972v1 发布类型：新 摘要：评估那些基于实时、动态变化的企业数据运行的对话代理十分困难：由于后端状态不断更新，重放的会话会逐渐偏离真实情况；而今天构建的基准测试，随着其所描述的数据不断演进，也可能在不知不觉中变得过时。我们提出了一种针对生产级对话代理的离线评估框架，该框架能够在所操作的实时数据发生变化的情况下保持可复现性，并且在基准过时时能够按需重新生成。随后，我们将这一框架用作基于GEPA的提示优化的适应度函数，并通过一个正确性约束机制来防范奖励欺骗。将其应用于一款面向商家的生产级代理后，经过正确性约束的压缩处理，可在不降低保留任务正确率的前提下，将代理的完整提示空间缩小3.5%至7.6%。
arXiv论文（2610.31678v1）指出，在交互式大语言模型评估中，仅依赖自动评分器的整体准确率或F1分数会掩盖提示特定错误，导致对提示效应的误判；实证显示同一评分器在不同提示下的假阳性率差异巨大（2.6%–33.3%），且表面显著的9.3点效应在双LLM评审下缩至2.3点且不显著。
推荐理由：该研究基于真实实验数据（6个模型、180个虚构实体问题、6种提示条件），揭示了当前LLM评估中普遍存在的方法论漏洞——将 scorer 整体性能等同于其在关键对比任务中的可靠性。其核心主张（须分别审计各提示、纳入不确定性）具有明确实证支撑和可操作建议，时效性强（2026-10-26发布），来源可信（arXiv预印本平台）。
IBM研究院提出ALTK-Evolve方法，通过GPT-4.1自动从自身任务轨迹中提炼结构化行为指南（如身份认证、退款确认等），以纯提示工程方式注入ReAct代理系统，在不更新模型权重、不依赖人工标注的前提下，显著提升客服任务的准确率与可靠性；其零售分支以67.5% Pass⁴成绩位列τ²-bench 2026年10月12日榜单第一，超越所有前沿模型及微调系统。
