AtariBench：Atariゲームプレイにおけるビジョン・言語モデルの時空間推論の評価
arXiv:2611.08755v1 発表タイプ：新規 要旨：ビジョン・ランゲージモデル（VLM）は、静的な視覚理解ベンチマークにおいて優れた性能を示していますが、動的な環境での行動能力についてはまだ十分に解明されていません。本稿では、Atari 2600のゲーム20種類に対してVLMを評価する制御されたベンチマークであるAtariBenchを提案します。このベンチマークでは、時間分解能の高いゲームプレイストリームから逐次的な意思決定を行うことが求められます。ゲーム内の迅速なダイナミクスと経過時間に基づく推論速度を分離することで、AtariBenchはモデルが視覚的情報の急速な変化を捉え、時空間的ダイナミクスを推論し、現在の観測に基づいて行動を決定できるかに焦点を当てています。実験の結果、最先端のVLMには大きな限界があることが明らかになりました。具体的には、物体の動きや方向を推論できない場合が多く、逐次的な意思決定が脆弱であり、新たに付加された視覚フィードバックにもかかわらず、テキストによる相互作用履歴に過度に依存していることが示されました。さらに、モデルの能力を示す信頼性の高い指標となるゲーム内スコアを特定するための分離可能性分析を導入し、メモリ設計やプロンプト戦略が性能に与える影響を調査しました。全体として、AtariBenchは受動的な視覚認識と能動的な意思決定の間にある持続的なギャップを浮き彫りにし、動的な環境で推論し行動できるVLMの開発のための軽量かつ厳密なテストベッドを提供します。
