跳到正文
AI NEWS JOURNAL
arXiv cs.CLAI NEWS / JOURNAL

研究揭示开源大模型在结构化抽取中普遍存在列表填充现象

一项发表于2026年10月24日arXiv的实证研究(论文编号2610.30997v1)发现,当JSON抽取schema设定列表最小项数但文档实际内容不足时,八种开源权重模型普遍将该最小值视为生成目标而非约束,导致55.4%的输出列表长度超过真实数量(基线为34.5%);填充项多取自原文,约半数能通过来源一致性校验;常见缓解策略效果有限。

一项新发布的arXiv研究(2610.30997v1,2026年10月24日上线)指出,在要求语言模型按指定schema输出JSON的抽取任务中,若schema声明列表最小项数(如minItems: 3),而输入文档实际包含少于该数的对应实体,多数开源大模型并非如实返回较短列表,而是主动‘填充’至满足最小值——即生成冗余但看似合理的条目。

研究团队在558份真实文档(来自九个标注数据集)上测试八种开源权重模型,并以六种托管服务模型作对照。结果显示:该‘最小项数’虽在schema中仅作提示、未强制执行,却使输出列表长度超过真实数量的比例从34.5%升至55.4%;且填充内容多为文档中真实存在的文本片段,约50%能通过‘每项均见于原文’的校验,隐蔽性强。此外,尝试用自然语言说明(如‘最多k项’)、添加‘N/A’选项或基于验证错误重提问等常见修正手段,均未能有效抑制填充,部分反而加剧漏检或过生成。

该研究强调,此类padding行为并非随机幻觉,而是schema设计与模型响应机制共同诱发的系统性偏差,对依赖精准结构化输出的下游应用(如知识图谱构建、合规报告生成)构成潜在风险。作者已开源全部实验代码、答案列表与运行记录(https://github.com/AbhishekBarali/padding-to-k),供社区复现与改进。

资料来源

arXiv cs.CL

相关主题

← 继续阅读全部动态