2026년 10월 24일, ‘검색 증강형 대규모 언어 모델에서의 검색 상태 인식을 위한 자기평가 강화학습’이라는 제목의 논문이 arXiv 플랫폼에 처음으로 게재되었으며(논문 번호: arXiv:2610.30435v1), 검색 증강형 대규모 언어 모델에서 검색 에이전트의 자체 검색 상태에 대한 인식 능력을 향상시키기 위해 Self-Assessment Reinforcement Learning(SARL)이라는 강화학습 프레임워크를 제안하였다.
기존 검색 에이전트는 종종 검색 상태 인식 능력이 부족하여, 어떤 정보가 이미 획득되었고 어떤 정보가 아직 누락되어 있는지를 파악하기 어렵기 때문에 환각 추론과 검색의 조기 종료가 발생합니다. SARL은 학습 단계에서 내장된 자기평가 메커니즘을 통해 모델이 스스로 검색 상태를 인식하고 검색 행동을 최적화하도록 하며, 테스트 시 별도의 추가 평가 모듈을 도입할 필요가 없습니다. 이 방법의 핵심은 이중 보상 설계에 있으며, 각 자기평가의 교정 효과를 포착하는 동시에 평가에 대한 과도한 의존을 처벌함으로써 검색 경로의 유효성과 효율성을 상호 보완적으로 촉진합니다.
실험 결과, SARL은 가장 강력한 기반선에 비해 상대적으로 24.3%의 성능 향상을 달성했으며, 다중 홉 추론 및 심층 연구 벤치마크에서 각각 해당 분야의 최강 단일 기반선보다 평균 35.9%와 27.9%를 앞섰다. 주목할 점은, SARL이 독립적인 강화학습 프레임워크로서 보조 감독 신호나 다중 에이전트 협업에 의존하지 않고, 추론 시 스캐폴딩 구조도 없음에도 불구하고 이러한 방식들보다 우수한 성능을 보였다는 것이다. 또한, 탐색 단계 수를 늘리면 학습이 불안정해지는 상황에서도 SARL은 안정성을 유지한 반면, 기존 방법들은 이러한 복잡한 과제에서 지속적으로 성능이 저하되었다.