AI 自动翻译
摘要：统一的大型多模态模型（ULMM）能够通过交错式的图文生成实现视觉推理，但生成显式中间图像会带来显著的计算开销。尽管视觉隐式推理可以缓解这一问题，但现有方法大多依赖于无法进行视觉生成的视觉—语言模型（VLM）。我们提出了一种名为Oddin的新框架，可在统一的大型多模态模型中实现隐式视觉推理。Oddin用紧凑的隐式标记替代中间图像，这些标记完全由理解分支处理，而生成分支则仅负责最终输出图像。我们通过离线自蒸馏训练该模型，设置三项优化目标：最终图像生成损失、文本蒸馏损失，以及针对特殊标记的交叉熵损失。在七个VBVR-Pro视觉推理任务上，Oddin的性能平均优于交错式生成基线和闭源视觉—语言模型。定性分析表明，隐式标记能够关注输入图像中的相关区域，这证明统一的大型多模态模型无需生成中间图像即可完成复杂的视觉推理。
提交历史
访问 Paper：
查看PDF
HTML（实验性）
TeX 源代码
附加功能
音频摘要
当前浏览上下文：
参考文献与引用
谷歌学术
语义学者
书签
机构
arXivLabs 是一个框架，允许合作者直接在我们的网站上开发并共享新的 arXiv 功能。
无论是个人还是与 arXivLabs 合作的机构，都已认同并践行我们所倡导的开放、社区、卓越以及用户数据隐私等价值观。arXiv 致力于坚守这些价值，并且只与同样秉持这些价值观的合作伙伴开展合作。
您是否有一个能为 arXiv 社区创造价值的项目构想？欢迎了解更多关于 arXivLabs 的信息。