AI 自动翻译
摘要：人类在面对具体问题时，能够灵活地将多种推理形式加以组合，从而对物理世界进行推理。实现这种灵活性是人工智能领域的一项重大开放性挑战：当前的各类能力往往仍被分割在不同的专用模型中，限制了它们之间的组合方式以及针对特定任务的协同适应能力。我们提出了Ψ-0.6，这是一种统一的视觉—语言世界模型，能够在一种名为“思维流”的共享推理过程中自适应地整合感知、语言、几何与仿真。这些思维流交织着图像、文本以及关于几何与运动的显式表示，而模型可通过统一的标记接口生成并解释所有这些信息。Ψ-0.6在多视角空间推理的零样本性能上超越了当前领先的开源权重模型，并且通过基于几何中间表示的推理进一步提升了效果。此外，它还支持反事实仿真：能够生成并解读想象中的场景，以判断例如移动某个物体是否会阻碍某条路径。借助任务反馈的强化学习，该模型能够联合优化中间表示的选择、生成与使用策略，从而显著提升视觉问答的准确率，并且这种提升还能迁移到未见过的基准测试中。Ψ-0.6为实现自适应的物理推理提供了一条路径——不仅能够预测物理世界，还能自主选择用于推理的表示形式。
提交历史
访问 Paper：
查看PDF
HTML（实验性）
TeX 源代码
附加功能
音频摘要
当前浏览上下文：
参考文献与引用
谷歌学术
语义学者
书签
机构
arXivLabs 是一个框架，允许合作者直接在我们的网站上开发并共享新的 arXiv 功能。
无论是个人还是与 arXivLabs 合作的机构，都已认同并践行我们所倡导的开放、社区、卓越以及用户数据隐私等价值观。arXiv 致力于坚守这些价值观，并且只与同样秉持这些理念的合作伙伴开展合作。
您是否有一个能为 arXiv 社区创造价值的项目构想？欢迎了解更多关于 arXivLabs 的信息。