跳到正文
AI NEWS JOURNAL
arXiv cs.CVAI NEWS / JOURNAL

基于证据的直觉:面向多模态智能体的自适应双重记忆

arXiv:2610.33019v1 发布类型:新 摘要:当多模态智能体进行持续交互时,长期记忆发挥着两种既 distinct 又互补的功能:细粒度的证据召回,以及用于全局理解的内化解读。尽管情景记忆与隐式记忆分别通过显式的历史记录和内化的经验来满足这些需求,但由于情景记忆在证据覆盖与整合方面的局限性,以及隐式记忆在事实基础构建上的不足,单一的范式难以兼顾不同任务间多样化的记忆偏好。为弥合这一鸿沟,我们提出了一种双记忆框架,将模型原生的隐式记忆作为直观的先验,同时结合多索引的情景记忆,通过检索驱动的联合对齐实现精确的证据重建。在 i

AI 自动翻译

摘要:随着多模态智能体开展持续交互,长期记忆发挥着两种既 distinct 又互补的功能:细粒度的证据召回,以及用于全局理解的内化诠释。尽管情景记忆与隐式记忆分别通过显式的历史记录与内化的经验来满足这些需求,但由于情景记忆在证据覆盖与整合方面存在局限,而隐式记忆又缺乏对事实的扎实锚定,单一范式难以兼顾各类任务中多样化的记忆偏好。为弥合这一鸿沟,我们提出了一种双记忆框架,将模型原生的隐式记忆作为直观的先验,并辅以多索引的情景记忆,通过检索驱动的联合对齐实现精确的证据重建。在推理阶段,该框架借助一种无需训练的路由机制,根据 Jensen-Shannon 散度(JSD)敏感性及查询相关记忆亲和度的置信度代理,自适应地整合这两种记忆。在多个多模态基准上的广泛评估表明,该框架取得了最先进的性能,在整体上优于单一范式的基线方法(较纯情景记忆提升 4.67%),进一步分析还凸显了情景记忆在证据定位型任务中的优势,以及隐式记忆在整合分散信息、弥补检索不完善方面的贡献。

提交历史

访问 Paper:

查看PDF

HTML(实验性)

TeX 源代码

附加功能

音频摘要

当前浏览上下文:

参考文献与引用

谷歌学术

语义学者

书签

机构

arXivLabs 是一个框架,允许合作者直接在我们的网站上开发并共享新的 arXiv 功能。

无论是个人还是与 arXivLabs 合作的机构,都已认同并践行我们所倡导的开放、社区、卓越以及用户数据隐私等价值观。arXiv 致力于坚守这些价值,并且只与同样秉持这些价值观的合作伙伴开展合作。

您是否有一个能为 arXiv 社区创造价值的项目构想?欢迎了解更多关于 arXivLabs 的信息。

资料来源

arXiv cs.CV
← 继续阅读全部动态