本文へ移動
AI NEWS JOURNAL
arXiv cs.CLAI NEWS / JOURNAL

エージェント間の引き継ぎにわたるベンチマークタスクの引き受け

arXiv:2610.36523v1 発表タイプ:新規 要旨:エージェントが長時間にわたるタスクで協働する際、作業が完了する前に責任がモデル間で移行することがあります。受け手のモデルは、これまでの決定・観察・行動を踏まえつつ、残された要求事項に対応しなければなりません。この移行を評価するには、引き渡し時に保持されていた情報を、受け手がどのように作業を継続するかとの関連性と結び付ける必要がありますが、タスク成功度や記憶保持スコアだけではその関係性を捉えることはできません。そこで、我々は「Handoff State Continuity Benchmark(HSC-Bench)」を提案します。これは、関連するリポジトリ上の証拠を回収することと、既に確立された対話状態・ツール状態・ファイル作業状態から継続することという、タスク引き継ぎの二つの補完的な側面を評価する1,039のタスクから構成されています。6つの受け手モデル間での比較により、構造

翻訳サービスが停止中のため原文を表示しています。

arXiv:2610.36523v1 Announce Type: new

Abstract: As agents collaborate on longer tasks, responsibility may pass between models before the work is complete. The receiving model must build on prior decisions, observations, and actions while addressing the remaining requirements. Evaluating this transition requires connecting the information preserved at handoff to how the receiver continues the work, a relationship that task-success and memory-retention scores alone do not capture. We introduce the Handoff State Continuity Benchmark (HSC-Bench), comprising 1,039 tasks that evaluate two complementary aspects of task takeover: recovering relevant repository evidence and continuing from established conversational, tool, and file-work state. Comparisons across six receiving models show that structured handoff state improves repository evidence recovery for every model and continuation performance for most models. The strongest receivers differ between the two tracks, showing that evidence-recovery rankings alone do not characterize performance when continuing from inherited state. By combining these comparisons with checks of subsequent responses and actions, HSC-Bench evaluates both access to prior evidence and adherence to established commitments and completed work. This provides a basis for selecting receiving models and assessing handoff representations according to the work that must be carried forward.

出典

原文を読む ↗

関連テーマ

← すべてのニュースへ