요약: 기존의 과학 에이전트 벤치마크는, 맞춤형 시퀀싱 분석에 있어 매우 중요한 역량인, 시퀀싱 프로토콜에서 명시된 정확한 분자 구조와 생성 워크플로를 재구성할 수 있는지 여부를 거의 평가하지 않습니다. 이에 우리는 시퀀싱 라이브러리 구조와 분자 워크플로를 재구성하기 위한 문서 기반 벤치마크인 LibStructBench를 제안합니다. 우리의 실험 결과에 따르면, 최첨단 에이전트들은 대체로 대략적인 재구성을 수행하긴 하지만, 특히 분자 상태 표현과 워크플로 연결성 측면에서 정확한 재구성에는 여전히 신뢰성이 부족한 것으로 나타났습니다. 또한, 기본 언어 모델을 변경하는 것이 에이전트 하네스를 교체하는 것보다 평균 성능 차이를 더 크게 만들었으며, 통계적으로 유의미한 차이는 오직 분자 상태 재구성에서만 관찰되었습니다. 추가 지식은 소규모 파일럿 테스트에서 올리고-패밀리 복구에는 도움이 되었지만, 평균 분자 워크플로 점수 개선에는 기여하지 못했습니다. 절차적 규칙과 프로토콜 간 사례의 자율적 축적은 검증 성능에서 비단조적 특성을 보였으며, 테스트된 경로에서는 평균 후보 분자 워크플로 개선 효과가 나타나지 않았습니다. 이러한 결과는 복잡한 실험 프로토콜 속 분자 과정에 대한 과학적 추론을 보다 체계적이고 검증 가능한 방식으로 접근할 필요성을 강조합니다.
주제: 인공지능(cs.AI); 유전체학(q-bio.GN) 인용: arXiv:2610.37851 [cs.AI] (또는
arXiv:2610.37851v1 [cs.AI] (현재 버전) | https://doi.org/10.48550/arXiv.2610.37851
더 알아보기
DataCite를 통한 arXiv 발급 DOI
투고 이력
논문 보기:
PDF 보기
HTML(실험적)
TeX 소스
추가 기능
오디오 요약
현재 탐색 컨텍스트:
참고문헌 및 인용
Google 학술검색
Semantic Scholar
북마크
기관
arXivLabs는 협력자가 당사 웹사이트에서 새로운 arXiv 기능을 직접 개발하고 공유할 수 있도록 하는 프레임워크입니다.
arXivLabs와 함께 일하는 개인과 조직 모두는 개방성, 커뮤니티, 우수성, 그리고 사용자 데이터 개인정보 보호라는 당사의 가치를 수용하고 받아들였습니다. arXiv은 이러한 가치에 헌신하며, 이에 부합하는 파트너들과만 협력합니다.
arXiv 커뮤니티에 가치를 더할 프로젝트 아이디어가 있으신가요? arXivLabs에 대해 자세히 알아보세요.