跳到正文
AI NEWS JOURNAL
AI NEWS / ONE EVENT. MANY PERSPECTIVES.

评估并改进用于序列协议理解的 AI 智能体

arXiv:2610.37851v1 发布类型:新 摘要:现有的科学智能体基准测试很少评估智能体是否能够重建测序协议所规定的精确分子结构与生成流程,而这一能力对于分析定制化测序实验至关重要。我们提出了 LibStructBench,一个以文档为依据的基准测试,用于重建测序文库结构和分子工作流。我们的实验表明,前沿的智能体往往能生成大致正确的重建结果,但在精确重建方面仍不够可靠,尤其是在分子状态表示和工作流连通性方面。更换底层语言模型所带来的平均性能差异,大于更换智能体框架所产生的差异,且这种差异在统计上具有显著性。

1 篇报道arXiv cs.AI ↗

摘要:现有的科学智能体基准测试很少评估智能体是否能够重建测序协议所指定的精确分子结构与生成流程,而这一能力对于分析定制化测序实验至关重要。我们提出了 LibStructBench,一个基于文档的基准测试,用于重建测序文库结构和分子工作流程。我们的实验表明,前沿智能体通常能生成大致正确的重建结果,但在精确重建方面仍不够可靠,尤其是在分子状态表示和工作流程连通性方面。更换底层语言模型所带来的平均性能差异,大于更换智能体框架所产生的差异;且仅在分子状态重建任务上表现出统计学意义上的显著差异。额外的知识输入虽在一项小型试点中提升了寡核苷酸家族的恢复效果,却并未提高分子工作流程的平均得分。此外,程序规则与跨协议示例的自主积累,在测试轨迹中呈现出非单调的验证性能,并未带来平均保留分子工作流程分数的提升。这些发现凸显了在复杂实验协议中,针对分子过程进行科学推理时,亟需更加可控且可验证的方法。

主题:| 人工智能(cs.AI);基因组学(q-bio.GN) 引用格式:| arXiv:2610.37851 [cs.AI] | (或

arXiv:2610.37851v1 [cs.AI](此版本) | https://doi.org/10.48550/arXiv.2610.37851

点击了解更多信息

由 DataCite 提供的 arXiv 发布 DOI

提交历史

访问论文:

查看PDF

HTML(实验性)

TeX源代码

附加功能

音频摘要

当前浏览上下文:

参考文献与引用

Google 学术搜索

Semantic Scholar

书签

机构

arXivLabs 是一个框架,允许合作者直接在我们的网站上开发并共享新的 arXiv 功能。

无论是个人还是与 arXivLabs 合作的组织,都已认同并践行我们所倡导的开放、社区、卓越以及用户数据隐私等价值观。arXiv 致力于这些价值理念,并且只与同样秉持这些理念的合作伙伴开展合作。

您是否有一个能为 arXiv 社区创造价值的项目构想?欢迎了解更多关于 arXivLabs 的信息。