AI 自动翻译
摘要：具身视觉—语言模型必须根据部分且不断变化的观测结果作出回答。其性能优劣既取决于所选用的推理能力，也取决于该能力所能获取的证据。专家路由机制通过调整内部计算来应对，而工具增强型系统则通过引入外部证据来补充；若二者独立选择，可能导致合适的专家缺乏其所需的证据。我们提出了 EKT-Router，这是一种有限框架，能够同时选择合适的推理能力专家、可选的知识模块以及感知工具。基于结果的特征签名刻画了通用推理、空间推理与时空推理三大专家的优势互补关系。联合效用函数在给定调用预算下对完整的专家—证据路径进行评分。证据获取后，数据包验证器会依据预测的专家条件收益，筛选出有效证据。随后，选定的专家仅作一次回答；若所有数据包均被拒绝，则恢复至初始未更新的观测状态。在6个具身问答基准上，EKT-Router 的平均得分为61.4，位居对比系统之首；在10个通用视觉—语言基准上，其平均得分为74.7。当所有外部证据均被禁用时，仅依靠问题条件下的专家选择便较最佳固定专家提升了1.75分。消融实验表明，学习得到的路由策略是主导因素，而知识与感知则互为补充。
提交历史
访问 Paper：
查看PDF
HTML（实验性）
TeX 源代码
附加功能
音频摘要
当前浏览上下文：
参考文献与引用
谷歌学术
语义学者
书签
机构
arXivLabs 是一个框架，允许合作者直接在我们的网站上开发并共享新的 arXiv 功能。
无论是个人还是与 arXivLabs 合作的机构，都已认同并践行我们所倡导的开放、社区、卓越以及用户数据隐私等价值观。arXiv 致力于坚守这些价值，并且只与同样秉持这些价值观的合作伙伴开展合作。
您是否有一个能为 arXiv 社区创造价值的项目构想？欢迎了解更多关于 arXivLabs 的信息。