요약: LLM 에이전트는 약 10만 개의 항목을 보유하고 다수의 모델에 서비스를 제공하는 공용 허브에서 기술을 검색합니다. 모델이 발전함에 따라, 허브는 특정 모델이 이미 내재화하여 해당 기술 없이도 수행할 수 있게 된 기술을 식별하고 그 모델에 대해 해당 기술을 폐기해야 합니다. 그러나 현재까지 내재화 여부는 알려진 신뢰성으로 측정된 바가 없습니다. 기존에 발표된 규칙들은 기술이 포함된 실행과 포함되지 않은 실행 간의 성능 차이만을 기준으로 기술을 폐기합니다. 그러나 내재화된 기술의 경우에도, 그리고 모델과 기술 모두가 해당 역량을 제공하지 못하는 ‘미해결 상태’일 때에도 성능 향상은 거의 제로에 가깝습니다. 이에 우리는 기술을 보류한 뒤, 해당 기술을 기반으로 새롭게 구성한 과제에서 모델의 성능을 평가하며, 다른 모델이 해당 기술로부터 이익을 얻는 경우에만 높은 무보조 점수를 신뢰합니다. 실제로 높은 점수의 거의 절반이 모델이 전혀 혜택을 받지 못하는 과제에서 나옵니다. 네 가지 모델을 대상으로 한 실험에서, 각 기술에 대해 하나의 과제를 적용하는 방식의 기존 성능 향상 규칙은 미해결 상태에 있는 기술의 절반 이상을 제거했습니다. SkillsBench에서는 전체 실행에서 통과하지 못한 프로브에 의존해 기술을 폐기하는 사례가 31건 중 28건에 달하며, 무보조 점수에 근거한 폐기는 눈에 띄는 성과 향상을 동반하지 않습니다. 무보조 평가 결과는 성능 향상 규칙보다 과제 간 일관성이 더 높지만(코헨의 카파 지수 0.42 대 0.23), 모델마다 차이가 있어 허브는 모델별로 이를 면밀히 해석해야 합니다. 우리는 네 가지 모델 하에서 1,251개의 기술과 관련 과제 및 항목별 점수를 공개합니다.
제출 기록
Access Paper:
PDF 보기
HTML(실험적)
TeX 소스
추가 기능
오디오 요약
현재 탐색 컨텍스트:
참고문헌 및 인용
구글 학술 검색
시멘틱 스콜라
북마크
기관
arXivLabs는 협업자가 당사 웹사이트에서 새로운 arXiv 기능을 직접 개발하고 공유할 수 있도록 하는 프레임워크입니다.
arXivLabs와 협력하는 개인과 조직 모두는 개방성, 커뮤니티, 탁월성, 그리고 사용자 데이터 프라이버시라는 당사의 가치를 수용하고 이를 준수해 왔습니다. arXiv은 이러한 가치에 전념하며, 이들 가치를 준수하는 파트너들과만 협력합니다.
arXiv 커뮤니티에 가치를 더할 프로젝트 아이디어가 있으신가요? arXivLabs에 대해 자세히 알아보세요.