Oddin：通过图像生成的自蒸馏实现统一多模态模型中的潜在视觉推理
arXiv：2610.33062v1 发布类型：新 摘要：统一的大型多模态模型（ULMMs）能够通过交错进行的文本-图像生成来执行视觉推理，但生成显式的中间图像会带来显著的计算开销。尽管视觉潜在推理可以解决这一问题，但现有方法大多依赖于无法进行视觉生成的视觉-语言模型（VLMs）。我们提出了一种名为Oddin的新框架，能够在ULMMs中实现潜在的视觉推理。Oddin用紧凑的潜在标记取代中间图像，这些标记完全由理解分支处理，而生成分支则专门用于生成最终输出图像。我们通过离线自蒸馏训练该模型，包含三项优化目标：最终图像生成损失、文本蒸馏损失以及交叉熵损失，用于
