要旨：身体を備えた視覚言語モデルは、部分的かつ変化する観測情報から質問に答える必要がある。その成功は、選択される推論能力と、それに利用可能な証拠の両方に依存する。専門家ルーターは内部計算を適応させる一方で、ツール拡張型システムは外部証拠を獲得する；これらを独立に選択すると、適切な専門家が必要な証拠を持たない状況が生じる可能性がある。本研究では、能力専門家、任意の知識、および知覚ツールを統合的に選択する制限付きフレームワークであるEKT-Routerを提案する。結果に基づくシグネチャは、一般推論、空間推論、時空間推論の各専門家の重なり合う強みを表す。共同ユーティリティは、呼び出し予算の下で完全な専門家–証拠経路のスコアを算出する。取得後、パケット検証器は、予測される専門家条件付利得が正である有効な証拠を承認する。その後、選ばれた専門家は一度だけ回答を行い、すべてのパケットが拒否された場合には、変更されていない観測情報に戻る。6つの身体搭載型QAベンチマークにおいて、EKT-Routerは平均スコア61.4を達成し、比較対象となるシステムの中で最高であり、さらに10の一般的な視覚言語ベンチマークでは平均74.7を記録した。外部証拠をすべて無効化した条件下でも、質問条件に基づく専門家選択のみで、最良の固定専門家よりも1.75ポイント上回る性能を示した。アブレーション実験により、学習によるルーティングが支配的な要素であり、知識と知覚は相互補完的であることが明らかになった。
提出履歴
Paperへのアクセス：
PDFを表示
HTML（実験的）
TeXソース
追加機能
オーディオ要約
現在の閲覧コンテキスト：
参考文献および引用
Google Scholar
セマンティック・スカラー
ブックマーク
機関
arXivLabsは、共同作業者が当社のウェブサイト上で新しいarXiv機能を直接開発・共有できるフレームワークです。
arXivLabsと協働する個人および組織は、いずれも当社の価値観であるオープン性、コミュニティ、卓越性、そしてユーザーデータのプライバシーを尊重し、受け入れています。arXivはこれらの価値観に固くコミットしており、それらを遵守するパートナーのみと協力しています。
arXivのコミュニティに価値をもたらすプロジェクトのアイデアをお持ちですか？arXivLabsについて詳しくご覧ください。