요약: 다중모달 에이전트가 지속적인 상호작용을 수행할 때, 장기 기억은 세부적 증거 회수와 전반적 이해를 위한 내재화된 해석이라는 두 가지 서로 다르지만 상호 보완적인 기능을 수행한다. 비록 일화 기억과 잠재 기억이 각각 명시적 역사 기록과 내재화된 경험을 통해 이러한 요구를 충족하긴 하지만, 일화 기억의 증거 범위와 통합에 대한 한계, 그리고 잠재 기억의 사실적 근거 마련에 대한 한계로 인해, 어느 하나의 패러다임만으로는 과제 간의 다양한 기억 특성들을 포괄하기 어렵다. 이러한 격차를 해소하기 위해 우리는 모델 고유의 잠재 기억을 직관적인 사전으로 활용하고, 검색 조건에 따라 공동 정렬을 통해 정확한 증거 재구성을 가능하게 하는 다중 인덱스 기반 일화 기억을 결합한 이중 기억 프레임워크를 제안한다. 추론 단계에서는, 젤슨-샤논 발산(JSD) 민감도와 쿼리에 따른 기억 친화도를 반영하는 신뢰도 대리변수에 의해 구동되는 학습 없는 라우팅 메커니즘을 통해 이들 기억을 적응적으로 조합한다. 다중모달 벤치마크를 대상으로 한 광범위한 평가 결과, 본 프레임워크는 최신 수준의 성능을 보여주며, 단일 패러다임 기반 기준선을 전반적으로 능가(+4.67%의 향상, 일반적인 일화 기억 기반 대비)했으며, 추가 분석을 통해 일화 기억이 증거 중심 과제에서 강점을 발휘하고, 잠재 기억이 분산된 정보를 통합하며 불완전한 검색을 보완하는 데 기여함을 확인했다.
제출 기록
Access Paper:
PDF 보기
HTML(실험적)
TeX 소스
추가 기능
오디오 요약
현재 탐색 컨텍스트:
참고문헌 및 인용
구글 학술 검색
시멘틱 스콜라
북마크
기관
arXivLabs는 협업자가 당사 웹사이트에서 새로운 arXiv 기능을 직접 개발하고 공유할 수 있도록 하는 프레임워크입니다.
arXivLabs와 협력하는 개인과 조직 모두는 개방성, 커뮤니티, 탁월성, 그리고 사용자 데이터 프라이버시라는 당사의 가치를 수용하고 이를 준수해 왔습니다. arXiv은 이러한 가치에 전념하며, 이들 가치를 준수하는 파트너들과만 협력합니다.
arXiv 커뮤니티에 가치를 더할 프로젝트 아이디어가 있으신가요? arXivLabs에 대해 자세히 알아보세요.