要旨：マルチモーダルエージェントが持続的な相互作用を行う際、長期記憶は細粒度の証拠の想起と、全体的理解のための内面化された解釈という、二つの明確でありながら補完的な機能を果たす。エピソード記憶と潜在記憶は、それぞれ明示的な履歴記録と内面化された経験を通じてこれらの要求に応えているものの、エピソード記憶における証拠の網羅性と統合の限界、および潜在記憶における事実的根拠の不十分さから、いずれのパラダイムだけではタスク間で多様な記憶特性を十分に捉えることはできない。このギャップを埋めるために、我々は二重記憶フレームワークを提案する。これは、モデル固有の潜在記憶を直感的な事前分布として統合し、同時に、検索条件に基づく共同アライメントによって正確な証拠再構成を可能にする多インデックス型エピソード記憶を組み合わせるものである。推論時には、本フレームワークは、Jensen-Shannon 情報量（JSD）への感度およびクエリ依存型の記憶親和性を示す信頼度代理変数に基づく、学習不要のルーティングメカニズムにより、これらの記憶を適応的に組み合わせる。マルチモーダルベンチマークに対する広範な評価では、最先端の性能が実証され、単一パラダイムのベースラインを総じて上回る結果（従来のエピソード記憶ベースライン比で+4.67%）を得た。さらに分析からは、エピソード記憶が証拠局在型タスクにおいて強みを発揮する一方で、分散した情報を統合し、不完全な検索を補ううえで潜在記憶が重要な役割を果たしていることが明らかになった。
提出履歴
Paperへのアクセス：
PDFを表示
HTML（実験的）
TeXソース
追加機能
オーディオ要約
現在の閲覧コンテキスト：
参考文献および引用
Google Scholar
セマンティック・スカラー
ブックマーク
機関
arXivLabsは、共同作業者が当社のウェブサイト上で新しいarXiv機能を直接開発・共有できるフレームワークです。
arXivLabsと協働する個人および組織は、いずれも当社の価値観であるオープン性、コミュニティ、卓越性、そしてユーザーデータのプライバシーを尊重し、受け入れています。arXivはこれらの価値観に固くコミットしており、それらを遵守するパートナーのみと協力しています。
arXivのコミュニティに価値をもたらすプロジェクトのアイデアをお持ちですか？arXivLabsについて詳しくご覧ください。