AIが動く。未来が更新される。シーケンシングプロトコル理解におけるAIエージェントの評価と改善
arXiv:2610.37851v1 発表タイプ：新規 要旨：既存の科学系エージェントベンチマークでは、カスタマイズされたシーケンシングアッセイの解析に不可欠な、シーケンシングプロトコルで指定された正確な分子構造および生成ワークフローを再構築できるかどうかを評価するケースはほとんどありません。そこで私たちは、シーケンシングライブラリの構造と分子ワークフローの再構築を目的とした文書ベースのベンチマークであるLibStructBenchを提案します。実験結果から、最先端のエージェントは概ね正しい再構築を行えるものの、特に分子状態の表現やワークフローの接続性において、正確な再構築には依然として信頼性が不足していることが明らかになりました。また、基盤となる言語モデルを切り替えた場合の方が、エージェントハーネスを変更した場合よりも平均的な性能差が大きく、統計的に有意な差が認められました。
要旨：既存の科学エージェント向けベンチマークでは、カスタマイズされたシーケンシングアッセイを解析する上で極めて重要な、シーケンシングプロトコルで指定された正確な分子構造および生成ワークフローを再構築できるかどうかについての評価がほとんど行われていません。そこで私たちは、シーケンスライブラリ構造と分子ワークフローの再構築を対象とした文書に基づくベンチマークであるLibStructBenchを提案します。実験結果から、最先端のエージェントは概ね正しい再構築を行えるものの、特に分子状態の表現やワークフローの接続性において、正確な再構築には依然として信頼性が不足していることが示されました。また、基盤となる言語モデルを切り替えた場合、エージェントハーネスを変更した場合よりも平均的な性能差が大きくなり、統計的に有意な差が認められたのは分子状態の再構築のみでした。さらに、追加の知識を導入することで、小規模なパイロット実験においてオリゴファミリーの復元率は向上しましたが、分子ワークフロー全体の平均スコアには改善が見られませんでした。プロシージャルルールやプロトコル間の例を自律的に蓄積させた場合、検証性能は非単調に変動し、テスト対象の軌跡において平均的なホールドアウト分子ワークフローの改善は確認されませんでした。これらの知見は、複雑な実験プロトコルにおける分子過程に関する科学的推論に対して、より厳密で検証可能なアプローチの必要性を示しています。
分野：| 人工知能（cs.AI）；ゲノミクス（q-bio.GN） 引用形式：| arXiv:2610.37851 [cs.AI] | （または
arXiv:2610.37851v1 [cs.AI]（本バージョン） | https://doi.org/10.48550/arXiv.2610.37851
詳しく学ぶためにフォーカス
DataCite経由のarXiv発行DOI
投稿履歴
論文へのアクセス：
PDFを表示
HTML（実験的）
TeXソース
追加機能
音声要約
現在の閲覧コンテキスト：
参考文献・引用
Google Scholar
Semantic Scholar
ブックマーク
機関
arXivLabsは、共同作業者が当社のウェブサイト上で新しいarXiv機能を直接開発・共有できるフレームワークです。
arXivLabsを利用する個人および組織は、オープン性、コミュニティ、卓越性、そしてユーザーデータのプライバシーという当社の価値観を積極的に受け入れ、尊重しています。arXivはこれらの価値観に固くコミットしており、それらを遵守するパートナーのみと協力しています。
arXivのコミュニティに価値をもたらすプロジェクトのアイデアをお持ちですか？arXivLabsについて詳しくご覧ください。