跳到正文
AI NEWS JOURNAL
arXiv cs.CLAI NEWS / JOURNAL

社会世界模型评估差距

arXiv:2610.33014v1 发布类型:新 提要:谈判助手无需准确预测对方的反应,也能达成一笔不错的交易。我们探讨的是,针对社会世界模型的评估是否直接检验了这种预测能力。我们对1999年至2026年间发表的113篇相关研究进行了梳理。其中9项主要评估测量的是,当系统或实验者选定某一行动后,真实个体对该行动的反应。仅有2项还把明确的反应预测与实际反应进行了对比。这些研究的预测模型所使用的信息仅限于行动被选定之时,而用于评估的反应数据在拟合过程中已被排除;且两项研究均对干预措施进行了随机化处理。此外,我们对25篇有关语言模型的研究进行了全文核查,未发现任何一项实验同时满足上述条件。其余评估则侧重于当前状态推断、任务成功率或预测准确性等指标。

AI 自动翻译

arXiv:2610.33014v1 发布类型:新

摘要:谈判辅助系统无需准确预测对方的反应,也能达成良好的协议。我们探讨社会世界模型的评估是否直接检验了这种预测能力。我们对1999年至2026年间发表的113篇文献进行了审查。其中9项主要评估测量了真实个体对由系统或实验者所选定之行动的反应。仅有2项还同时将明确的反应预测与实际反应进行对比。这些研究的预测模型均基于行动选择时可获得的信息,且用于拟合的评估对象反应被排除在外;此外,两项研究均对干预措施进行了随机化处理。对25篇语言模型相关研究的全文进一步核查发现,没有一项实验符合上述条件。其余评估则聚焦于当前状态推断、任务成功率,或基于已记录行动的预测。我们提出了一种单步骤的谈判实验,以清晰区分上述各类问题。本研究的结果仅描述了经审查的样本情况,并未反映这一评估缺口在该领域中的普遍程度。

资料来源

arXiv cs.CL
← 继续阅读全部动态