📄 论文 | 📊 数据 | 💻 代码
今天，我们发布了《旧思想，新问题》，这是一项关于大型语言模型在多大程度上能够可靠地评估科学研究思想新颖性的新研究。与此同时，我们还公开了一个用于测试新颖性评判器的基准、数据集和代码，并提供了一条自动化流水线，供研究人员构建新的评估集合。
在Ai2，我们一直在开发能够支持科学发现各环节的人工智能系统。DataVoyager帮助研究人员探索并分析结构化数据，AutoDiscovery用于生成并检验假设，而Theorizer则能将海量文献中的证据整合为候选的科学理论。这些项目与Asta一道，共同指向一类能够助力研究人员从理解既有研究迈向提出、验证并完善新思路的系统。
然而，生成研究思路只是实现科学发现自动化的挑战之一。这些思路还必须带来真正的新颖性，这意味着相关系统需要具备一种能力，能够将新颖的研究方向与那些仅是对已有工作进行简单重组的路径区分开来。
这种判断往往交由另一款大型语言模型——我们称之为“新颖性评判器”来作出。新颖性评判器用于评估一项研究构想相对于既有工作的新颖程度，既可以单独评估，也可以与其他构想进行比较。目前尚无统一的构建方法；研究团队通常会自行选择模型、提示模板、评价格式、推理预算，有时还会搭配文献检索系统。这些选择可能会显著影响最终的判定结果。然而，这类评判器往往仅在人类撰写的论文上得到验证，而非其本应评估的AI生成的创意。
我们的新基准测试结果表明，新颖性评估本身远不可靠。在六位大型语言模型（LLM）评测者——GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5 和 Claude Opus 4.6——中，对评估设置的看似细微的调整，便会导致对同一创意的判断出现截然不同的结果。在一项实验中，仅修改提示中的几个词语，就使模型在判断两个创意哪个更具有新颖性时的准确率发生了超过50个百分点的变化。检索与额外推理并未能 consistently 提升判断效果，而两款专门设计的新颖性评估系统的表现甚至不如一个简单的、经提示引导的 Claude Opus 4.6 基线。
如果人工智能要在科学发现中发挥更大作用，我们就需要更可靠的方法来判断它是否确实在提出新的见解。我们的研究为探讨这一问题提供了工具，同时也揭示了仍有大量未解之谜。
为新颖性评判者构建基准
为了检验新颖性评审员在多大程度上能够可靠地将更具新颖性的研究思路与新颖性较低的研究思路区分开来，我们首先需要一些能够充分证明其潜在科学贡献原创性的实例。
因此，我们围绕 ICLR 2026 的同行评审构建了一条自动化流程。我们并未将论文是否被接收视为新颖性的替代指标，而是直接从评审意见中挖掘出那些审稿人明确讨论论文贡献原创性的段落。这一区分至关重要：只要在其他方面足够出色，一篇论文即便并不特别新颖，也仍可能被接受；同样地，一篇被拒的论文若具备原创性贡献，也可能存在其他方面的不足。
我们通过筛选ICLR各研究领域排名前10%、且评审专家明确肯定其新颖性、同时未遭任何评审专家质疑的已接收论文，构建了一个包含154个由人类撰写的高新颖性研究创意的池子。随后，我们采用相反的标准构建了一个低新颖性池：从排名后10%的被拒论文中选取145个创意，这些论文的评审专家提出了原创性方面的疑虑，但没有任何评审专家正面认定其具备新颖性。在对评审挖掘流程的独立核查中，一名标注者在50个案例中有47个同意所提取的新颖性信号极性；所有存在分歧的案例均不会影响某篇论文是被认定为“赞新品”还是“质疑新品”。
这两组数据共同构成了我们的首个评估场景——“仅人类”，用于检验新颖性评审者能否区分出具有较强证据支持、新颖性较高或较低的人类原创构思。然而在实际应用中，新颖性评审者正越来越多地被用于评估人工智能生成的创意。因此，我们又构建了第二个场景——“人类+生成”。
对于这一数据集，我们将同样经过验证的154个来自人类的创意与由一个简单LLM生成器产生的154个创意进行了配对。我们假设生成的创意在新颖性上不及人类创作的对应版本；这些标签较为宽松，并非针对每个创意的严格评判。该生成器仅获知研究领域及一项提出新颖创意的指令，未进行文献检索、工具使用、迭代或反馈。这使我们得以在一款基础生成器所产出的创意与ICLR前10%论文中那些经评审专家明确认可其原创性的贡献之间，进行一种相对保守的比较。
作为额外的验证，一位专家独立审阅了30对由人类与AI生成的内容，其中重点选取了我们最优秀的评判者曾判断错误的案例；随后，我们将人类与AI生成的创意统一改写为一种通用格式，以检验评判者是否仅仅是对写作风格差异作出反应。结果表明，在这30对内容中，专家更倾向于人类生成的创意，并且认为所有生成的创意均不具备新颖性。
值得注意的是，我们的许多核心发现根本无需依赖标签。如果两种合理的评估方案对同一组观点得出相反的结论，那么这种分歧本身就表明了其不稳定性。
细微的改动可能会导致截然不同的结果
利用我们收集的人工撰写与人工智能生成的研究创意，我们测试了六款大型语言模型——GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5 和 Claude Opus 4.6——在逐项（即绝对新颖性评分）和两两比较（即对比两个创意以找出最新颖者）两种方式下评估新颖性的能力。我们每次仅改变一个变量：提示词、推理预算、评审者是否能够查看相关论文、创意的呈现格式、用于得出最终结论的判断数量，以及——针对人工智能生成的创意——由哪款模型生成。
性能的最大变化源于我们如何提示模型来判断新颖性。
例如，我们向GPT-5.4展示了同样的“人类生成”配对——每一对都包含一个经验证的人类原创想法和一个由AI生成的想法——并使用了两个提示。其中一个提示告知模型，评审人员在每一对中仅认定一个想法具有新颖性，并要求它判断是哪一个；另一个则直接询问哪个想法是新颖的。当我们改用更简单的提示时，准确率从93.5%骤降至40.9%，甚至低于随机水平，而且模型对超过一半相同配对的判定也发生了变化。
相比之下，在仅由人类撰写的数据集上，同样的提示词变化仅使准确率波动了约七个百分点；该数据集将人类创作的创意与新颖性证据强弱不一的案例进行配对。这表明，对于人类创作的研究，新颖性评判者的表现相对稳定，而对人工智能生成的创意则可能表现出截然不同的行为。
话虽如此，人类撰写的想法也未能幸免。我们在仅限人类的数据集上同样观察到了显著的变化；同样的调整使Claude Opus的准确率提升了21个百分点。只不过，这些变化的幅度不如AI生成的想法那么明显。
此外，也不存在一种在所有情况下都更优的提示。例如，在单独评判各项创意时，若删除一条提醒评审者不要将琐碎或渐进式贡献视为新颖的指令，对部分评审而言会提高准确率，而对另一些评审则会降低准确率。换言之，对某一模型行之有效的提示，并不一定适用于其他模型。
我们还测试了新颖性评判器的一种常见用法：比较来自两款AI生成器的创意。我们将Claude Opus 4.5与Claude Sonnet 4.5配对，GPT-5.4与GPT-5.1配对。在所测试的提示词变化范围内，六位评判员的平均裁决结果约有四分之一至三分之一发生了变化。这种分歧无需假设哪款生成器产生的创意更富新意即可衡量，这表明评判者提示词的选择如何影响不同构思系统之间的比较。
更多的搜索与推理并不一定能带来更优的新颖性判断。我们为 GPT-5.6 Sol 提供了超高的推理预算，并在 arXiv 上进行了实时、迭代式的搜索，随后将其与仅查看五篇预先检索到的摘要的标准检索型评判者进行了对比。（在此比较中，所有评判者均以 Human+Generated 模式对每个创意执行了一次评估。）该智能体驱动型评判者的宏观 F1 得分为 0.78——比 Claude Opus 4.6 的 0.89 低了 11 分，且大致处于与更为简单的 Claude Opus 4.5 和 GPT-5.4 配置相近的区间；与此同时，在当前 API 定价下，每次决策的成本约为后者的 10 倍。（在此情境中，宏观 F1 用于衡量评判者识别新颖与非新颖创意的能力；数值越高越好。）
专用评估器的准确率也并未更高，尽管其成本要高得多。在“人类生成”数据集上，一个使用低推理强度并基于三次调用进行多数投票的简单Claude Opus 4.6提示，以2.59美元的总评估成本达到了0.854的宏观F1值。相比之下，基于文献检索与重排序的Idea Novelty Checker管道，在30.66美元的成本下得分为0.642；而Sakana AI的AI Scientist——其新颖性评估器会迭代地在Semantic Scholar中进行搜索——则以82.05美元的成本获得了0.772的得分。（这两款专用评估器均使用Claude Opus 4.6，且每次决策仅需一次调用。）
换句话说，简单的提示基准方法在准确性和成本方面都优于任何专门构建的系统。
综上所述，这些结果表明，对于这些系统日益被要求评判的人工智能生成的创意，新颖性评估尤其容易出现偏差。
迈向对新型研究更可靠的评估
我们的研究结果表明，基于大语言模型的新颖性评估仍是一个重大且尚未解决的问题。在人类撰写的研究中看似可靠的评判标准，在面对人工智能生成的创意时可能表现出截然不同的行为；对某一模型有益的提示可能对另一模型产生不利影响；而增加搜索或计算量也未必能带来更为一致的判断。
未来的研究应当针对评审者实际将要评估的各类创意开展测试，衡量不同提示与模型之间的敏感性，改进对既有文献的整合方式，并构建能够随着科学文献的丰富与人工智能系统的进步而不断演进的基准。我们的基准与可复用的数据流水线仅是一个起点——研究人员可以将其应用于新的同行评议、其他科学领域，以及面向未来几代的新颖性评审者。
自动化构思不仅依赖于生成合理的研究方向，我们还需要能够判断这些想法是否真正具有创新性。通过使当前新颖性评估方法的薄弱环节更易于量化，我们希望此次发布能帮助研究人员构建更为稳健的AI生成研究创意评估方法。
本文中提到的数据集1
更多来自该作者的内容
LitPivot：通过文献景观中的动态语境化来发掘研究思路
OlmoEarth v1.3：面向整个地球的最先进嵌入表示
社区
· 注册或登录以发表评论
本文中提到的数据集1