要旨：多段階の分析タスクでは、LLMエージェントが次の行動を継続するか、転送するか、あるいは停止するかを判断するために、中間的な証拠を用いる必要があります。エージェントが自身の出力を批判的に検討する自己反省は広く研究されていますが、その批判だけでは、証拠が次なる行動に影響を与えたかどうかを示すことはできません。私たちはこの能力を「自己抑制」と呼んでいます。既存のエージェントベンチマークの多くは、タスクの完了度や出力品質のみを測定しており、この点については未検証のままです。DMAIC-Benchは、リーン・シックスシグマの明示的な統計的前提条件に基づき、4つの産業分野における15の産業事例にまたがる97の種付け済みタスクを用いて、この能力を評価します。対となる逆因果変種では、同一のワークフロー上の同じ位置で相反する行動を要求し、正当な抑制と無差別な停止を区別します。実行トレースはプライベートなスコアラーで評価し、最終的な主張については独立した専門家によるレビューを実施しています。6社の提供元から選ばれた13モデルについて、一致するGO決定では実行レベルのルーティング精度が平均92％、NO-GO決定では19％であり、許可されていない下流の計算が発生した場合はいずれもルートエラーとしてカウントされます。実行トレースからは、エージェントが、その結果が禁止している分析を実行する前に正しい診断を報告していることが明らかになっています。一方、盲検下で行われた11の審査対象エージェントに対する専門家レビューでは、到達したNO-GO決定のうち47％において、報告が不適切な証拠に基づいていると推定され、その推定値の幅は31％から61％までとなっています。明示的な停止の許可は、一部のモデルにおいては有効ですが、GO分岐およびNO-GO分岐の両方において常に正しい意思決定を回復するわけではありません。さらに、リボ核酸配列解読（RNA-seq）や症例対照型全ゲノム関連解析（GWAS）といったライフサイエンス分野の大量処理に関する16のタスクからは、同様のフレームワークが産業ワークフローに留まらず、証拠依存型の意思決定を評価できることが示されています。プロジェクトのコードおよびデータは、以下のhttps URLにて公開されています。
提出履歴
Paperへのアクセス：
PDFを表示
HTML（実験的）
TeXソース
追加機能
オーディオ要約
現在の閲覧コンテキスト：
参考文献および引用
Google Scholar
セマンティック・スカラー
ブックマーク
機関
arXivLabsは、共同作業者が当社のウェブサイト上で新しいarXiv機能を直接開発・共有できるフレームワークです。
arXivLabsと協働する個人および組織は、いずれも当社の価値観であるオープン性、コミュニティ、卓越性、そしてユーザーデータのプライバシーを尊重し、受け入れています。arXivはこれらの価値観に固くコミットしており、それらを遵守するパートナーのみと協力しています。
arXivのコミュニティに価値をもたらすプロジェクトのアイデアをお持ちですか？arXivLabsについて詳しくご覧ください。