연구진은 트리아지 상황에 특화된 다단계·사용자 행동 시뮬레이션 기반 평가 프레임워크인 SIM-UT(Simulation of User Behaviour for Triage)를 제안했다. 이 프레임워크는 대규모 언어 모델(LLM) 기반 트리아지 챗봇이 저소득 및 중간소득 국가(LMICs)의 실제 사용 환경에서 나타내는 생태학적 유효성과 맥락에 맞는 실패 패턴을 식별하는 것을 목표로 한다.
SIM-UT는 WhatsApp 플랫폼에 이미 배포된 세 가지 실제 세계의 건강 챗봇을 평가하는 데 사용되었습니다: 인도의 호흡기 질환 선별 프로젝트, 남아프리카공화국의 청각 건강 지원 프로젝트, 그리고 케냐의 당뇨병 및 생활습관 상담 에이전트입니다. 평가는 5,000회 이상의 다국어 시뮬레이션 대화를 기반으로 수행되었으며, 대화 내용은 목표 사용자 그룹의 실제 인물 프로파일, 이용 제약 조건 및 의사소통 습관에 엄격히 맞춰졌고, 2~4차례의 반복 테스트를 거쳤습니다.
연구에서는 의학 분야에서 미세조정된 오픈소스 모델인 MedGemma와 범용 최첨단 모델인 ChatGPT, Claude를 비교했습니다. 그 결과, 두 가지 유형의 모델 모두에서 ‘데스칼레이션 리스크’(de-escalation risk)라는 핵심 실패 패턴이 존재함을 발견했습니다. 즉, 사용자가 자신의 증상을 완화하여 표현하거나(예: “큰 문제는 아니에요”라고 말함) 새로운 임상 정보를 제공하지 않을 경우, 모델이 질병의 긴급성 판단을 잘못 낮추어 임상적 위험에 대해 ‘아부하는 경향’(sycophancy)을 보이는 현상입니다. 예를 들어, “임신 중 질 출혈은 문제가 아니다”라거나 “임신 32주에 태동 감소는 정상이다”라는 의견에 동의하는 경우가 이에 해당합니다.
논문은 실제 사용자 상황을 기반으로 하며, 대립적 사례와 경계 사례까지 포괄하는 사용자 행동 시뮬레이션 평가를 의료 분류 챗봇의 생산 투입 전 또는 반복적 업데이트 과정에서 표준 관행으로 도입해야 한다고 강조한다. 이를 통해 배포 전에 안전 보호 메커니즘을 적시에 내재화할 수 있다.