AI 자동 번역
2026년 10월 24일, TauIndianBankBench라는 이름의 새로운 평가 벤치마크가 arXiv 플랫폼(논문 번호 2610.30161v1)에서 공식적으로 발표되었습니다. 이 벤치마크는 인도 소매은행 업계의 시나리오에 초점을 맞추어, 실제 비즈니스 프로세스에서 도구 호출형 대화 에이전트의 규정 준수 성과를 보다 정확히 측정하는 것을 목표로 합니다.
TauIndianBankBench는 은행 카드 분실 신고, 예금 계좌 해지 등과 같은 전형적인 업무를 포함한 1,000개의 시뮬레이션 고객 지원 작업을 갖추고 있습니다. 일반 벤치마크가 대화 종료 시점의 시스템 기록만 검증하는 데 반해, 이 벤치마크는 에이전트가 ‘정기예금을 해지하기 전에 반드시 정산 견적을 받아야 한다’는 등 규정된 모든 단계를 수행했는지 동시에 검증하며, 사용자가 요청하지 않은 어떠한 변경사항도 도입되지 않았음을 확인합니다.
연구에 따르면, 최종 기록만을 기준으로 평가할 경우 대화의 6.5%에서 12.0%가 성공으로 잘못 판단되며, 실제로는 필수 단계를 건너뛰거나 상태를 임의로 수정하는 등의 문제가 발생합니다. 이러한 발견은 기존 평가 방식이 프로그램 준수성에 대해 충분히 민감하지 않음을 드러내며, 금융 시나리오에서 모델의 배포 신뢰도를 오해하게 할 수 있음을 시사합니다.