DMAIC-Bench：面向多阶段分析任务中智能体的自我反思与自我约束
arXiv：2610.32305v1 发布类型：新 摘要：多阶段分析任务要求大型语言模型（LLM）代理利用中间证据来决定是继续、重定向还是停止。自我反思——即代理对其输出进行批判性评估——已得到广泛研究，然而这种反思并不能说明证据是否改变了下一步行动。我们将这一能力称为“自我约束”。现有的代理基准测试大多仅衡量任务完成度或输出质量，而未对这一能力进行检验。DMAIC-Bench 通过围绕精益六西格玛明确的统计前提条件构建的、涵盖四个行业领域中15个工业案例的97个种子任务，对此进行了评估。成对的反事实变体在相同的工作流位置上要求采取相反的操作，从而能够区分有依据的自我约束与无差别的停止行为。我们采用……对执行轨迹进行评估。