요약: 대규모 언어 모델(LLM) 에이전트는 점점 더 비동기적으로 작업을 수행합니다. 주 에이전트는 하위 에이전트들이 실행되는 동안에도 계속 작업을 진행하며, 그 결과가 도착하기 전에 작업 상태가 변경될 수 있습니다. 이때 주 에이전트는 어떤 작업을 업데이트하거나 보존하고, 어떤 검사를 다시 수행해야 하는지 결정해야 하며, 동시에 금지된 변경 사항을 피해야 합니다. 최종적인 작업 성공 여부만으로는 이러한 결과가 올바르게 처리되었는지 여부를 파악하기 어렵고, 자연스러운 비동기적 도착 현상은 재현하기도 쉽지 않습니다. 우리는 LLM 에이전트의 비동기적 작업 실행을 평가하기 위한 벤치마크인 Async-RBench를 제안합니다. 이 벤치마크는 8가지 시나리오를 포괄하는 200개의 실행 가능한 작업을 포함합니다. 각 시나리오 컨트롤러는 미리 정의된 작업 상태 조건을 기반으로 결과 전달을 관리하며, 이벤트 응답 계약(ERC)은 각 응답이 반드시 변경해야 할 사항, 보존해야 할 사항, 피해야 할 사항, 그리고 재검증해야 할 사항을 명시합니다. 동적 재계획 점수(DRS)는 응답 과정과 결과를 동등하게 가중치를 부여하여 평가하며, 작업 성공 여부와는 별도로 보고됩니다. 우리는 9개의 에이전트를 평가한 결과, DRS 점수가 19.2에서 45.1 사이였으며, 가장 낮은 점수는 중복 보고와 하위 에이전트 실패에서 나타났습니다. 우리의 실행 프로토콜 하에서는, 9개 모든 에이전트가 비동기적 전달 방식에서 배치형 전달 방식보다 낮은 작업 성공률을 기록했습니다(평균 26.0% 대 29.7%). 또한, 세 개의 에이전트에 대해 주 에이전트에게 각 결과가 도착한 후마다 계획을 재구성하도록 지시했지만, DRS 점수는 2.6에서 3.5포인트 정도만 향상되었습니다. 이와 같은 결과들은 신뢰할 수 있는 비동기적 작업 실행의 어려움과, 종단 간 작업 성공 여부뿐만 아니라 에이전트가 들어오는 결과를 어떻게 처리하는지도 함께 평가해야 함을 강조합니다.
제출 기록
Access Paper:
PDF 보기
HTML(실험적)
TeX 소스
추가 기능
오디오 요약
현재 탐색 컨텍스트:
참고문헌 및 인용
구글 학술 검색
시멘틱 스콜라
북마크
기관
arXivLabs는 협업자가 당사 웹사이트에서 새로운 arXiv 기능을 직접 개발하고 공유할 수 있도록 하는 프레임워크입니다.
arXivLabs와 협력하는 개인과 조직 모두는 개방성, 커뮤니티, 탁월성, 그리고 사용자 데이터 프라이버시라는 당사의 가치를 수용하고 이를 준수해 왔습니다. arXiv은 이러한 가치에 전념하며, 이들 가치를 준수하는 파트너들과만 협력합니다.
arXiv 커뮤니티에 가치를 더할 프로젝트 아이디어가 있으신가요? arXivLabs에 대해 자세히 알아보세요.