
2026年10月24日,一项新研究在arXiv平台发布(编号arXiv:2610.30841v1),提出TRIAD——首个专门针对全模态(text-image-audio)歧义消解能力设计的评测基准。其核心目标是检验多模态大语言模型能否像人类一样,通过跨模态线索互补来解决单一模态下无法确定的语义模糊问题。
TRIAD包含327个手工编写的三模态样本,每个样本由一段文本、一张图像和一段音频组成,并配有一个问题及若干选项;其构造原则是:仅当三者完整存在时才能唯一确定正确答案,任意移除其中一种模态即导致多个选项均与剩余信息兼容。该基准覆盖86个场景组和18类跨模态歧义类型。
对14个全模态系统的评测显示,即使在单样本层面表现强劲,模型在场景组级别的歧义消解上仍显著落后于人类——最佳模型组准确率比人类低逾20个百分点;当移除选择题选项(即开放作答)后,模型组准确率进一步跌至个位数,而人类表现保持稳健。反事实分析还表明,当前系统在文本与图像共存时普遍弱化音频线索的使用。