LLM의 분포적 정합성과 그 일반화 특성
arXiv:2610.31687v1 공지 유형: 신규 요약: 대규모 언어 모델은 설문조사와 같은 목적으로 인간 행동을 시뮬레이션하고 탐구하는 데 점점 더 많이 활용되고 있습니다. 이러한 응용에서 핵심적인 성질은 출력이 분포적 정합성을 만족한다는 점입니다. 즉, 모델의 출력 분포가 특정 기준(이 경우 인간) 분포와 일치해야 합니다. 분포적 정합성을 달성하는 데 있어 큰 장애물은 소규모 학습 데이터로부터의 일반화입니다. 본 연구에서는 (1) LLM을 어떻게 분포적으로 정합시킬 수 있는지, 그리고 (2) 정합된 LLM이 미처 보지 못한 샘플들 및 관련 없는 주제와 과제들로까지 어떻게 일반화될 수 있는지를 탐구합니다. 두 개의 대규모 벤치마크를 사용하여, LLM이 실제로 분포적 정합성을 달성할 수 있으며 동일한 도메인 내의 미처 보지 못한 질문들에 대해서도 일반화 가능하다는 사실을 확인했습니다. 주제 간 일반화는 각 주제 간의 관계에 따라 달라집니다(예:

