AtariBench: Atari 게임 플레이에서 비전-언어 모델의 시공간 추론 평가

초록: 비전-언어 모델(VLM)은 정적인 시각 이해 벤치마크에서 우수한 성능을 달성했지만, 동적 환경에서의 행동 능력에 대해서는 아직 잘 이해되지 않고 있습니다. 우리는 AtariBench를 제안하며, 이는 20개의 Atari 2600 게임을 대상으로 VLM을 평가하는 통제된 벤치마크로, 모델들이 고시간 해상도의 게임플레이 스트림에서 순차적 의사결정을 내려야 합니다. 게임 내 빠른 동역학과 벽시계 기준 추론 속도를 분리함으로써, AtariBench는 모델들이 급격한 시각적 상태 변화를 인지하고, 시공간적 역학을 추론하며, 현재 관찰값에 기반하여 행동을 결정할 수 있는지를 중점적으로 평가합니다. 우리의 실험 결과는 최신 VLM들에 상당한 한계가 있음을 보여줍니다. 모델들은 종종 객체의 움직임과 방향을 추론하지 못하고, 취약한 순차적 의사결정을 보이며, 새로 추가된 시각 피드백에도 불구하고 텍스트 상호작용 기록에 지나치게 의존하는 경향을 나타냅니다. 또한, 우리는 모델의 역량을 나타내는 신뢰할 수 있는 신호를 제공하는 게임 내 점수가 무엇인지 파악하기 위해 분리 가능성 분석을 도입하고, 벤치마크를 활용하여 메모리 설계와 프롬프팅 전략이 성능에 미치는 영향을 연구합니다. 전반적으로, AtariBench는 수동적인 시각 인식과 능동적인 의사결정 사이에 여전히 존재하는 격차를 드러내며, 동적 환경에서 추론하고 행동할 수 있는 VLM 개발을 위한 가볍고 엄밀한 테스트베드를 제공합니다. 제출 이력 논문 열람: PDF 보기 HTML(실험적) TeX 소스 추가 기능 오디오 요약 현재 탐색 컨텍스트: 참고 문헌 및 인용 Google 학술검색 Semantic Scholar 북마크 기관 arXivLabs는 협업자가 당사 웹사이트에서 새로운 arXiv 기능을 직접 개발하고 공유할 수 있도록 하는 프레임워크입니다. arXivLabs를 사용하는 개인과 조직 모두 개방성, 커뮤니티, 우수성, 그리고 사용자 데이터에 대한 당사의 가치를 수용하고 받아들였습니다. 개인정보 보호. arXiv은 이러한 가치를 지키며 이를 준수하는 파트너들과만 협력합니다. arXiv 커뮤니티에 가치를 더할 프로젝트 아이디어가 있으신가요? arXivLabs에 대해 자세히 알아보세요.