本文へ移動
AI NEWS JOURNAL
arXiv cs.CLAI NEWS / JOURNAL

大規模言語モデルの分布整合性とその一般化特性

arXiv:2610.31687v1 公告タイプ:新規 要旨:大規模言語モデルは、アンケート調査などにおいて、人間の行動をシミュレートし、分析するための手段としてますます広く利用されています。これらの用途において重要な特性は、出力が分布整合性を満たすことであり、すなわち、出力の分布をある参照(ここでは人間の)分布に一致させることです。分布整合性を実現する際の障壁の一つは、少量の学習データから一般化することです。本研究では、(1) 大規模言語モデルをどのように分布整合させるか、および (2) いったん整合された大規模言語モデルが、未見のサンプルや関連しないトピック・タスクに対してもどのように一般化できるかを検討しています。二つの大規模ベンチマークを用いて、大規模言語モデルは確かに分布整合性を達成でき、同一ドメイン内の未見の質問に対しても一般化可能であることを示しました。一方で、トピック間の一般化は、各トピック間の関係性に依存します(例えば、

AI 自動翻訳

arXiv:2610.31687v1 公告タイプ:新規

要旨:大規模言語モデルは、アンケート調査などにおいて、人間の行動をシミュレートし、分析するための手段としてますます広く利用されています。こうした用途において重要な特性の一つは、出力が分布整合性を満たしていること、すなわち、出力の分布をある参照(ここでは人間の)分布と一致させることです。分布整合性を実現する上での障壁の一つは、少量の学習データから一般化を行う必要がある点です。本研究では、(1)大規模言語モデルをどのように分布整合させるか、および(2)整合された大規模言語モデルが未見のサンプルや関連しないトピック・タスクへどのように一般化するかを検討しました。二つの大規模ベンチマークを用いて、大規模言語モデルは確かに分布整合性を達成し、同一ドメイン内の未見の質問に対しても一般化できることを示しました。一方で、トピック間の一般化は、各トピック間の関連性(例えば、政治に関する質問は制度への信頼と関連している)に依存します。ただし、整合された大規模言語モデルは予期せぬ形で性能が低下する場合もあり(例えば、創造的機能を失うなど)、その一般化特性は本質的に予測不可能かつ不安定であることを示唆しています。

情報源

arXiv cs.CL
← すべてのニュースへ