2026년 10월 26일, ‘대화에서의 다중모달 감정 추론을 위한 증거 기반 검증을 갖춘 에이전트형 접근법’이라는 제목의 사전인쇄 논문이 arXiv 플랫폼에 게재되었으며(번호 2610.31685v1), 추적 가능하고 검증 가능한 새로운 형태의 다중모달 감정 추론 지능체 프레임워크를 제안하였다.
이 프레임워크는 시각, 음향 및 텍스트 모달에 특화된 인지 에이전트로 구성되며, 각 에이전트는 공유 보드에 증거를 포함한 관측 결과를 게시합니다. 통합 에이전트는 이러한 관측과 검색된 다중 모달 예시를 결합하여 감정 묘사, 태그 집합 및 근거 인용을 생성하고, MLLM 비평가가 최대 한 번의 수정을 제안합니다. 최종 출력 전에는 독립적인 증거 검증 단계에서 확실성 검사와 함축 판단을 수행하여 모든 주장이 유효한 증거로 뒷받침됨을 보장합니다.
검증 실패 사례에 대해 시스템은 책임 컴포넌트와 오류 유형별로 그룹화하여 타깃형 힌트 패치(prompt patches)를 생성하며, 예비 검증 세트에서만 유효성을 확인한 후에야 이를 채택합니다—전 과정에서 모델 가중치는 전혀 업데이트되지 않습니다. MER2025 데이터셋 테스트에서 이 방법은 VideoLLaMA3-2B, Phi-3.5-vision-instruct, Qwen2.5-VL-7B-Instruct 및 InternVL2.5-38B 등 네 가지 오픈소스 다중모달 대규모 모델 모두에서 정적 동결 파이프라인보다 우수한 성능을 보였으며, F-score의 개선 폭은 0.6점에서 2.2점에 달했습니다. 특히 Qwen2.5-VL-7B의 경우 52.3에서 54.5로 상승했습니다.
논문은 해당 방법이 명령 미세조정에 따른 높은 연산 비용을 회피하고, 동시에 에이전트 시스템의 오류 원인 추적 문제를 해결한다고 강조했지만, 실제 배포 환경, 실시간 성능 지표 또는 인간 평가 결과는 보고하지 않았다. 모든 실험은 사전 출시된 MER2025 데이터셋과 공개 모델을 기반으로 수행되었으며, 상용 시스템이나 비공개 데이터는 포함되지 않았다.