本文へ移動
AI NEWS JOURNAL
arXiv cs.CLAI NEWS / JOURNAL

ソーシャルワールドモデル評価のギャップ

arXiv:2610.33014v1 発表タイプ:新規 要旨:交渉支援システムは、相手の反応を正確に予測しなくても良好な取引を成立させることができる。そこで、社会的世界モデルに対する評価がその予測を直接検証しているのかという疑問を提起する。1999年から2026年にかけて発表された113件の研究を調査したところ、9件の主要な評価では、システムまたは実験者が選択した行動に対する実際の人の反応が測定されていた。そのうち、明示的な反応予測と実際の反応を比較しているのはわずか2件であり、しかもそれらの予測手法は行動選択時に利用可能な情報を用いており、評価対象の反応は適合過程から除外されていた上、介入手法もランダム化されていた。さらに、言語モデルに関する25件の研究について全文を個別に確認した結果、これらの条件を満たす実験は見当たらなかった。他の評価は、現状推論やタスク成功、あるいは予測機能の評価を行っているにすぎない。

AI 自動翻訳

arXiv:2610.33014v1 発表タイプ:新規

要旨:交渉支援システムは、相手の反応を正確に予測しなくても、良好な取引を成立させることができる。本研究では、社会的世界モデルに関する評価が、その予測を直接検証しているかどうかを問う。1999年から2026年にかけて発表された113件の研究を調査した。うち9件の主要な評価では、システムまたは実験者が選択した行動に対する実際の人の反応が測定されている。そのうち2件のみが、明示的な反応予測と実際の反応を比較している。これらの研究で用いられる予測手法は、行動が選択される時点で入手可能な情報を用いており、評価対象の反応はモデルの適合に用いられていない。また、いずれの研究も介入をランダム化している。さらに、言語モデルに関する25件の研究について全文を個別に確認した結果、これらの条件を満たす実験は見当たらない。他の評価は、現在状態の推論やタスクの成功、あるいは記録された行動からの予測を検証している。本研究では、これらの課題を明確に分離する1段階の交渉実験を提案する。得られた知見は、調査対象となったサンプルに関するものであり、学界全体におけるこの評価ギャップの広がりを示すものではない。

情報源

arXiv cs.CL
← すべてのニュースへ