要旨:マルチモーダルモデルがクエリのたびに同じ動画を再符号化しなければならない場合、長編動画の質問応答は非効率的で情報損失が生じます。文脈の制限によりスパースなサンプリングや切り捨てが避けられず、後の質問に利用できる再利用可能な表現が残りません。そこで我々はVidEngramを提案します。これはエージェント型の動画QAシステムであり、インジェスト時に一度永続的な階層的メモリを構築し、その後の質問に対してそのメモリから回答を生成します。VidEngramはQwen2.5-Omniを用いて動画と音声を共同でキャプションし、セグメントメモリをエピソード層やエンティティ層へ統合し、専用の検索ツールを備えたテキストのみのエージェントプランナーを利用して根拠のある回答を生成します。ウェブインターフェースによりこのプロセスを確認可能で、ユーザーはメモリの形成を見守り、検索トレースを調べ、ビデオプレーヤー上で引用された証拠を検証し、エンティティ間の関係性を探索できます。OmniVideoBench全体において、GPT-5-miniプランナーを搭載したVidEngramは強力な単一通過型Qwen2.5-Omniベースラインを上回り(37.0%対32.3%)、特に単一通過ではカバレッジがスパースになる長尺動画でその利点が顕著です。知覚コストは一度だけかかるため、以降のクエリでは低コストなテキストのみのプランニングが利用可能です。 投稿履歴 論文へのアクセス: PDFを表示 HTML(実験的) TeXソース 追加機能 音声要約 現在の閲覧コンテキスト: 参考文献・引用 Google Scholar Semantic Scholar ブックマーク 機関 arXivLabsは、共同研究者が当社ウェブサイト上で新しいarXiv機能を直接開発・共有できるフレームワークです。 arXivLabsを利用する個人および組織は、オープン性、コミュニティ、卓越性、ユーザーデータプライバシーという当社の価値観を積極的に受け入れています。arXivはこれらの価値観を堅持しており、それに準拠するパートナーのみと協力しています。 arXivコミュニティに価値をもたらすプロジェクトのアイデアをお持ちですか?arXivLabsについて詳しくご覧ください。
AI NEWS JOURNAL
arXiv cs.CVAI NEWS / JOURNAL
VidEngram:構造化階層型メモリによるエージェント的長期ビデオ理解
arXiv:2611.18578v1 発表タイプ:新規 要旨:マルチモーダルモデルがクエリごとに同じ動画を再符号化しなければならない場合、長尺動画の質問応答は非効率的で情報損失が生じます。コンテキストの制限によりスパースなサンプリングや切り捨てを余儀なくされ、後の質問に利用できる再利用可能な表現が残りません。そこで我々はVidEngramを提案します。これはエージェント型の動画QAシステムであり、インジェスト時に一度永続的な階層的メモリを構築し、その後の質問に対してそのメモリから回答を生成します。VidEngramはQwen2.5-Omniを用いて動画と音声を共同でキャプションし、セグメントメモリをエピソード層やエンティティ層に統合し、専用の検索ツールを備えたテキストのみのエージェント型プランナーを利用して根拠のある回答を生成します。Webインターフェースによりこのプロセスを確認可能で、ユーザーはメモリの形成を見守り、検索トレースを調べ、ビデオプレーヤー上で引用された証拠を検証し、エンティティ間の関係性を探索できます。OmniVideoBench全体において、GPT-5-miniプランナーを搭載したVidEngramは強力な単一通過型Qwen2.5-Omniベースラインを上回り(37.0%対32.3%)、特に単一通過ではカバレッジがスパースになる長尺動画でその優位性が顕著です。知覚コストは一度だけかかるため、以降のクエリでは低コストなテキストのみのプランニングが可能です。
この言語の翻訳はまだありません。原文を表示しています。