요약: 체화된 시각-언어 모델은 부분적이고 변화하는 관찰로부터 질문에 답해야 한다. 이들의 성공 여부는 선택된 추론 능력과 이를 뒷받침하는 증거의 양 측면에 모두 달려 있다. 전문 라우터는 내부 계산을 적응시키는 반면, 도구 기반 시스템은 외부 증거를 확보한다; 두 가지를 독립적으로 선택할 경우, 적합한 전문가가 필요한 증거를 갖추지 못하는 상황이 발생할 수 있다. 우리는 EKT-Router를 제안하며, 이는 능력 전문가, 선택적 지식, 그리고 인지 도구를 공동으로 선택하는 제한된 프레임워크이다. 결과 기반 서명은 일반, 공간 추론, 그리고 시공간 추론 전문가의 중복되는 강점을 나타낸다. 합산 효용 함수는 호출 예산 하에서 완전한 전문가-증거 경로를 평가한다. 증거 확보 후, 패킷 검증기는 예측된 전문가 조건부 이득이 긍정적인 경우에만 유효한 증거를 인정한다. 이후 선택된 전문가는 한 번만 답변을 수행하며, 모든 패킷이 거부되면 변경되지 않은 관찰 상태로 복귀한다. 6개의 체화형 QA 벤치마크에서 EKT-Router는 평균 점수 61.4를 기록하여 비교 대상 시스템 중 최고를 달성했으며, 10개의 일반 시각-언어 벤치마크에서는 평균 74.7점을 기록했다. 외부 증거를 모두 비활성화한 상태에서도, 질문 조건에 따른 전문가 선택만으로도 최고의 고정형 전문가보다 1.75점 향상된 성능을 보였다. 분석 결과, 학습된 라우팅이 주요 구성 요소이며, 지식과 인지는 서로 보완적임을 확인했다.
제출 기록
Access Paper:
PDF 보기
HTML(실험적)
TeX 소스
추가 기능
오디오 요약
현재 탐색 컨텍스트:
참고문헌 및 인용
구글 학술 검색
시멘틱 스콜라
북마크
기관
arXivLabs는 협업자가 당사 웹사이트에서 새로운 arXiv 기능을 직접 개발하고 공유할 수 있도록 하는 프레임워크입니다.
arXivLabs와 협력하는 개인과 조직 모두는 개방성, 커뮤니티, 탁월성, 그리고 사용자 데이터 프라이버시라는 당사의 가치를 수용하고 이를 준수해 왔습니다. arXiv은 이러한 가치에 전념하며, 이들 가치를 준수하는 파트너들과만 협력합니다.
arXiv 커뮤니티에 가치를 더할 프로젝트 아이디어가 있으신가요? arXivLabs에 대해 자세히 알아보세요.