要旨：言語モデルベースのエージェントは、文脈中の自然言語から学習する能力という点で、従来の知能システムとは根本的に異なります。この能力により、エージェントはフィードバックに応じて自らの回答を反復的に改善することが可能となり、これは現代のエージェント型ワークフローにおいて広く見られる動作様式です。しかし、業界では主にPass@1やPass@Kといった指標でモデルを評価しており、それらでは過去の試行に対するフィードバックの活用状況を捉えることができません。そこで私たちは、各前の失敗後にフィードバックを提供し、K回の連続した試行内で問題を解決できるかどうかを測定する、自然な評価プロトコルであるSeq@Kを提案します。長期的な計画を検討する多段階型エージェントベンチマークとは異なり、Seq@Kはフィードバックに基づく改良という核心的な能力を単独で抽出し、形式化しています。私たちは、7つのベンチマークと16の最先端モデルを対象にSeq@Kを評価し、Seq@Kが従来のPass@Kとは実質的に異なるモデル選択の局面を明らかにすることを示しました。具体的には、Seq@Kの下では、(1)モデルのランキングがしばしば異なり、(2)パレート最適境界線にはより効率的な構成が存在し、さらに(3)最適なモデル構成を選択することで得られる利得は、Pass@Kの場合と比べて拡大したり縮小したりすることがある、という結果が得られました。さらに、Seq@Kのもとでのモデルの挙動経路を分析することで、フィードバックで指摘された課題への対処速度や、自身の回答をどの程度固執するかといった、反復的改良の挙動を詳細に特徴付けることが可能であることも示しました。最後に、フィードバックの性質がモデルの反復的改良に与える影響を検討し、実務者は反復型エージェントシステムにおけるフィードバックループを慎重に設計・ベンチマークする必要があることを明らかにしました。これらの結果は総じて、こうしたフィードバックループで通常運用される知能システムに対してSeq@Kがいかに忠実な評価指標となり得るか、そしてこれらのシステム向けモデルの評価においてSeq@Kを考慮する必要性を示しています。
主題：| 人工知能（cs.AI） 引用形式：| arXiv:2610.37859 [cs.AI] | （または
arXiv:2610.37859v1 [cs.AI] このバージョンの場合） | https://doi.org/10.48550/arXiv.2610.37859
詳しく学ぶためにフォーカス
DataCite経由のarXiv発行DOI（登録待ち）
投稿履歴
論文へのアクセス：
PDFを表示
HTML（実験的）
TeXソース
追加機能
音声要約
現在の閲覧コンテキスト：
参考文献・引用
Google Scholar
Semantic Scholar
ブックマーク
機関
arXivLabsは、共同作業者が当社のウェブサイト上で新しいarXiv機能を直接開発・共有できるフレームワークです。
arXivLabsを利用する個人および組織は、オープン性、コミュニティ、卓越性、そしてユーザーデータのプライバシーという当社の価値観を積極的に受け入れ、尊重しています。arXivはこれらの価値観に固くコミットしており、それらを遵守するパートナーのみと協力しています。
arXivのコミュニティに価値をもたらすプロジェクトのアイデアをお持ちですか？arXivLabsについて詳しくご覧ください。