새로 발표된 한 학술 연구는 ‘응답자 커버리지 격차’(Respondent Coverage Gap, RCG) 지표를 제안하여, 대규모 언어 모델(LLM)이 실리콘 샘플링을 통해 생성한 합성 조사 응답자가 실제 인간 집단에 얼마나 대표성을 갖는지를 평가하고자 한다. 이 방법은 LLM이 설정된 인구통계학적 특성을 기반으로 설문에 응답하도록 하여 합성 인구를 도출하며, 현재 사회연구에서 실제 응답자를 대체하는 데 점차 활용되고 있다.
기존의 단일 문항 정확도, 각 문항의 답안 분포 또는 문항 간 상관관계에 초점을 맞춘 평가와 달리, RCG는 각 응답자를 전체 답안으로 구성된 고차원 공간 속의 한 점으로 표현한 뒤, 각 실제 응답자로부터 가장 가까운 합성 응답자까지의 거리를 계산하고 이를 실제 응답자 내부의 전형적 거리와 비교해 정규화합니다. 이 지표는 LLM이 현실에서 한 번도 나타난 적 없는 답안 조합을 생성했는지 여부를 밝혀낼 수 있습니다—단일 문항의 분포가 매우 일치하더라도, 실제로 존재하는 특정 집단 유형을 완전히 누락할 수 있기 때문입니다.
본 연구는 두 건의 미국 사회조사 데이터를 바탕으로 여섯 가지 LLM을 시험하였으며, 주요 실험 환경에서 모든 모델에 대해 실제 응답자가 미처 포괄되지 않은 상황이 존재하였다. 또한, 해당 모델들의 RCG 값은 인간의 한계 분포를 독립적으로 표본 추출한 기준 방법뿐 아니라, 인간 데이터에 가우스 코플라를 적용하여 추정한 통계 모델보다도 높게 나타났다. 이 연구 결과는 arXiv 사전 인쇄 플랫폼에 게재되었으며, 식별 번호는 2610.30900v1이고, 게시일시는 2026년 10월 24일 04:00 UTC이다.