要旨：大規模言語モデル（LLM）エージェントは、サブエージェントが実行中にメインエージェントが作業を継続し、その結果が到着する前にタスク状態が変化することもあり得るなど、ますます非同期的にタスクを実行しています。メインエージェントは、禁止された変更を避けつつ、どの処理を更新または保持し、どのチェックを再実行すべきかを判断しなければなりません。タスクの最終的な成功だけでは、これらの結果が適切に処理されたかどうかを示すには不十分であり、自然な非同期的な到着パターンは再現が困難です。そこで私たちは、LLMエージェントにおける非同期タスク実行のベンチマークであるAsync-RBenchを提案します。このベンチマークは、8つのシナリオを網羅した200の実行可能なタスクで構成されています。シナリオコントローラーは、事前に定義されたタスク状態条件に基づいて結果の配信を制御し、イベント応答契約（ERC）は、各応答が変更・保持・回避・再検証すべき内容を明示します。動的再計画スコア（DRS）は、応答プロセスと結果を同等に重み付けし、タスク成功とは別に報告されます。9つのエージェントを評価したところ、DRSスコアは19.2から45.1の範囲で、最も低いスコアは重複報告やサブエージェントの失敗に見られました。私たちの実行プロトコル下では、9エージェントすべてにおいて、非同期配信の方がバッチ配信よりもタスク成功率が低く（平均で26.0％対29.7％）、さらに3つのエージェントについては、結果ごとにメインエージェントが計画を再構築するよう指示しても、DRSはわずか2.6～3.5ポイントしか向上しませんでした。これらの知見は、信頼性の高い非同期タスク実行が抱える課題と、エンドツーエンドのタスク成功だけでなく、受信した結果の処理方法を評価する必要性を浮き彫りにしています。
提出履歴
Paperへのアクセス：
PDFを表示
HTML（実験的）
TeXソース
追加機能
オーディオ要約
現在の閲覧コンテキスト：
参考文献および引用
Google Scholar
セマンティック・スカラー
ブックマーク
機関
arXivLabsは、共同作業者が当社のウェブサイト上で新しいarXiv機能を直接開発・共有できるフレームワークです。
arXivLabsと協働する個人および組織は、いずれも当社の価値観であるオープン性、コミュニティ、卓越性、そしてユーザーデータのプライバシーを尊重し、受け入れています。arXivはこれらの価値観に固くコミットしており、それらを遵守するパートナーのみと協力しています。
arXivのコミュニティに価値をもたらすプロジェクトのアイデアをお持ちですか？arXivLabsについて詳しくご覧ください。