요약: 언어 모델 기반 에이전트는 맥락 속에서 자연어로부터 학습하는 능력이라는 점에서 기존의 지능형 시스템과 근본적으로 다릅니다. 이러한 능력은 현대의 에이전트 기반 워크플로우에서 흔히 나타나는 방식인 피드백에 따라 답변을 반복적으로 개선할 수 있도록 합니다. 그러나 연구 커뮤니티에서는 주로 Pass@1이나 Pass@K와 같은 지표를 사용하여 모델을 평가해 왔으며, 이는 모델들이 이전 시도에서 얻은 피드백을 어떻게 활용하는지를 제대로 포착하지 못합니다. 이에 우리는 각각의 이전 실패 이후마다 피드백을 제공받는 조건 하에, K번의 연속적인 시도 내에 문제를 해결할 수 있는지 여부를 측정하는 자연스러운 평가 프로토콜인 Seq@K를 도입합니다. 장기적 계획을 검토하는 다단계 에이전트 벤치마크와 달리, Seq@K는 피드백을 통한 개선이라는 핵심 역량을 독립적으로 분리하고 형식화합니다. 우리는 7개의 벤치마크와 16개의 최첨단 모델을 대상으로 Seq@K를 평가한 결과, Seq@K가 모델 선택의 지형을 상당히 다르게 드러낸다는 점을 보여줍니다. 구체적으로, Seq@K 기준에서는 (1) 모델 순위가 종종 달라지고, (2) 파레토 경계에서 더 효율적인 구성이 존재하며, (3) 최적의 모델 구성 선택으로 인한 성과 향상 폭이 Pass@K 기준에 비해 확대되거나 축소될 수 있습니다. 또한, Seq@K 하에서 모델의 동작 궤적을 분석하면, 모델이 피드백에서 제기된 문제를 얼마나 빠르게 해결하는지, 또는 자신의 답변을 얼마나 고집스럽게 유지하는지 등 반복적 개선 행동을 보다 명확히 규명할 수 있음을 확인했습니다. 마지막으로, 피드백의 특성이 모델의 반복적 개선에 미치는 영향을 탐구한 결과, 실무자들은 반복형 에이전트 시스템의 피드백 루프를 신중하게 설계하고 평가해야 함을 보여줍니다. 이와 같은 결과들은, 일반적으로 이러한 피드백 루프에서 작동하는 지능형 시스템에 대해 Seq@K가 보다 정확한 평가 지표임을 입증함과 동시에, 이러한 시스템용 모델을 평가할 때 Seq@K를 반드시 고려해야 할 필요성을 강조합니다.
주제: | 인공지능 (cs.AI) 인용 형식: | arXiv:2610.37859 [cs.AI] | (또는
arXiv:2610.37859v1 [cs.AI] 이 버전의 경우) | https://doi.org/10.48550/arXiv.2610.37859
더 알아보기
DataCite를 통한 arXiv 발행 DOI(등록 대기 중)
투고 이력
논문 보기:
PDF 보기
HTML(실험적)
TeX 소스
추가 기능
오디오 요약
현재 탐색 컨텍스트:
참고문헌 및 인용
Google 학술검색
Semantic Scholar
북마크
기관
arXivLabs는 협력자가 당사 웹사이트에서 새로운 arXiv 기능을 직접 개발하고 공유할 수 있도록 하는 프레임워크입니다.
arXivLabs와 함께 일하는 개인과 조직 모두는 개방성, 커뮤니티, 우수성, 그리고 사용자 데이터 개인정보 보호라는 당사의 가치를 수용하고 받아들였습니다. arXiv은 이러한 가치에 헌신하며, 이에 부합하는 파트너들과만 협력합니다.
arXiv 커뮤니티에 가치를 더할 프로젝트 아이디어가 있으신가요? arXivLabs에 대해 자세히 알아보세요.