AtariBench：Atariゲームプレイにおけるビジョン・言語モデルの時空間推論の評価

要旨：視覚言語モデル（VLM）は静的な視覚理解ベンチマークにおいて高い性能を達成しているが、動的な環境での行動能力についてはまだ十分に解明されていない。本稿では、Atari 2600の20種類のゲームに対応し、高時間分解能のプレイストリームから逐次的な意思決定を行うことを要求する、制御されたベンチマークであるAtariBenchを提案する。AtariBenchは、ゲーム内の迅速なダイナミクスと実時間での推論速度を分離することで、モデルが視覚的情報の急激な変化を捉え、時空間的ダイナミクスを推論し、現在の観測に基づいて行動を決定できるかどうかに焦点を当てている。実験の結果、最先端のVLMには大きな限界があることが明らかになった。具体的には、モデルは物体の動きや方向を推論できない場合が多く、逐次的な意思決定が脆弱であり、新たに付加された視覚フィードバックにもかかわらず、テキストによる相互作用履歴に過度に依存している。さらに、モデルの能力を示す信頼性の高い指標となるゲーム内スコアを特定するための分離可能性分析を導入し、メモリ設計やプロンプト戦略が性能に与える影響を調査するために本ベンチマークを用いた。総じて、AtariBenchは受動的な視覚認識と能動的な意思決定との間に依然として存在するギャップを浮き彫りにし、動的な環境で推論・行動可能なVLMの開発のための軽量かつ厳密なテストベッドを提供している。 投稿履歴 論文へのアクセス： PDFを表示 HTML（実験的） TeXソース 追加機能 音声要約 現在の閲覧コンテキスト： 参考文献・引用情報 Google Scholar Semantic Scholar ブックマーク 機関 arXivLabsは、共同研究者が当社ウェブサイト上で新しいarXiv機能を直接開発・共有できるフレームワークです。 arXivLabsを利用する個人および組織は、オープン性、コミュニティ、卓越性、ユーザーデータに関する当社の価値観を積極的に受け入れています プライバシー。arXivはこれらの価値観を重視しており、それに準拠するパートナーのみと協力しています。 arXivのコミュニティに価値をもたらすプロジェクトのアイデアをお持ちですか？arXivLabsの詳細をご覧ください。