新たに発表された学術研究では、「回答者カバレッジギャップ」（Respondent Coverage Gap, RCG）という指標が提案され、大規模言語モデル（LLM）がシリコンサンプリングによって生成する合成調査回答者が、実際の人類集団をどの程度代表性を持って捉えているかを評価することを目的としています。この手法では、LLMに設定された人口統計的属性に基づいてアンケートに「代入」させ、合成人口を生成します。現在では、社会調査において本物の回答者に代わって使用されるようになりつつあります。
従来の評価手法が、単一の設問における正答率や各設問の解答分布、あるいは設問間の相関に焦点を当てていたのに対し、RCGでは各回答者を全解答から構成される高次元空間上の一点として捉え、さらに各実際の回答者から最も近い合成回答者までの距離を算出し、それを実際の回答者間の典型的な距離で正規化します。この指標は、LLMが現実には存在しないような解答の組み合わせを生成していないかを明らかにするものであり、たとえ個々の設問の分布が高度に一致していても、特定の実際の集団属性を完全に見落としている可能性を示すことができます。
本研究では、2つの米国社会調査データを用いて6種類の大規模言語モデル（LLM）を評価し、主要な実験条件下において、いずれのモデルも未捕捉の実際の回答者を含むことを確認した。また、これらのモデルのRCG値は、人間の限界分布に従って独立にサンプリングするベースライン手法のみならず、人間データに対してガウス・コピュラを用いてフィットさせた統計モデルよりも高いことが示された。本成果はarXivプレプリントサーバーにて公開されており、識別番号は2610.30900v1で、公開日時は2026年10月24日04:00 UTCである。