本文へ移動
AI NEWS JOURNAL
AI, IN PERSPECTIVE

AI ニュースを検索

見出し・要約・本文から、情報のつながりを探します。

公開日時順

VidEngram:構造化階層型メモリによるエージェント的長期ビデオ理解

arXiv:2611.18578v1 発表タイプ:新規 要旨:マルチモーダルモデルがクエリごとに同じ動画を再符号化しなければならない場合、長尺動画の質問応答は非効率的で情報損失が生じます。コンテキストの制限によりスパースなサンプリングや切り捨てを余儀なくされ、後の質問に利用できる再利用可能な表現が残りません。そこで我々はVidEngramを提案します。これはエージェント型の動画QAシステムであり、インジェスト時に一度永続的な階層的メモリを構築し、その後の質問に対してそのメモリから回答を生成します。VidEngramはQwen2.5-Omniを用いて動画と音声を共同でキャプションし、セグメントメモリをエピソード層やエンティティ層に統合し、専用の検索ツールを備えたテキストのみのエージェント型プランナーを利用して根拠のある回答を生成します。Webインターフェースによりこのプロセスを確認可能で、ユーザーはメモリの形成を見守り、検索トレースを調べ、ビデオプレーヤー上で引用された証拠を検証し、エンティティ間の関係性を探索できます。OmniVideoBench全体において、GPT-5-miniプランナーを搭載したVidEngramは強力な単一通過型Qwen2.5-Omniベースラインを上回り(37.0%対32.3%)、特に単一通過ではカバレッジがスパースになる長尺動画でその優位性が顕著です。知覚コストは一度だけかかるため、以降のクエリでは低コストなテキストのみのプランニングが可能です。

FlatCake:大規模言語モデルのサービス向けフラットなKVキャッシュストレージアーキテクチャ

arXiv:2610.38355v1 発表タイプ:新規 要旨:KVキャッシュの再利用は大規模言語モデルのサービスを加速させるが、既存のシステムではホストのDRAMとNVMe SSDを階層的なヒエラルキーとして管理しており、DRAMが中間キャッシュとして機能している。しかし、実際の大規模言語モデルのワークロードは、この階層構造の二つの前提をいずれも破っている。第一に、バイモーダルな再利用によりDRAMの時間的フィルタリングが無効化される。というのも、ワークロードは長い再利用距離を持つワンショットブロックか、DRAM容量を超える数ギガバイト規模のエージェントセッションによって支配されており、その結果SSDが重要な読み取りパスに置かれているからである。第二に、DRAMによるステージングと、排出現象に基づくレイアウトがSSDの復元処理をボトルネックにしている。進行中のプレフィックスのためにホストのステージングバッファを保持すると、負荷下で競合が生じてプリフェッチが中断されてしまう一方で、段階的な排出現象によってセッション内のブロックがSSD全体に散らばり、大規模なシーケンシャルリードが妨げられる。我々は…

経緯と関連報道

低ランク多線形分解によるLLMのハルシネーション検出

arXiv:2610.36191v1 公告タイプ:新規 要旨:大規模言語モデル(LLMs)は、流暢でありながら事実と一致しない応答を頻繁に生成し、その信頼性に対する懸念が高まっています。近年のハルシネーション検出手法は、内部表現を活用する傾向が強まっていますが、高次元の隠れ状態から有用な信号を抽出することは依然として困難です。既存のアプローチでは、選択された活性化値やプーリングベースの圧縮に依存することが多く、Transformer層、特徴モード、トークン全体に分散する識別力のある情報を見落としてしまう可能性があります。私たちは、LOTUS(Low-rank Order-statistic TUcker-based Subspace learning)を提案します。これは、ハルシネーション検出のための多線形低ランク分解フレームワークであり、LLMの隠れ状態からコンパクトな表現を抽出しつつ、ラベルへの依存度を低減します。

経緯と関連報道

トランスフォーマーにおける証拠効果の因果的局所化

arXiv:2610.36524v1 公告タイプ:新規 要旨:制御された記号入力は、自然言語による証拠から言語モデルの意思決定に影響を与える注意ヘッドを明らかにすることができるのか?我々は、制御された証拠集約(CEA)を提案する。これは、他の部分が固定されたプロンプトにおいて、二つの記号の出現回数と順序を変化させ、凍結されたトランスフォーマーが二つの回答トークンの間で示す選好の変化を測定する手法である。選好は両者のロジット差によって測定され、プロンプト自体には正解が指定されていない。バランスド・ユーティリティ・カウサル・セレクション(BUC)は、各ヘッドの出力を除去した際にカウント効果がどの程度消失するか、またカウント条件間で平均出力を補間することで両方向に効果がどの程度回復するかを同時に評価することにより、コンパクトなヘッド集合を特定する。さらに、ヘッドの帰属と介入との間に結びつく条件付き上限を導出する。

経緯と関連報道

フロンティアの大型言語モデルにおけるアッシュの同調性に関する定量的アプローチ

arXiv:2610.36668v1 公告タイプ:新規 要旨:アッシュの同調実験は、近年、大型言語モデル(LLMs)における同調性を測定する手法として大きな注目を集めています。これまでの研究では、主に大型言語モデルにおける同調性の実証に焦点が当てられてきましたが、本研究ではこのアプローチにさらに定量的な視点を加えています。具体的には、フロンティアの大型言語モデルに対して一連の質問を提示してサンプリングを行うのではなく、単一の質問を繰り返しサンプリングし、大型言語モデルの確率的特性を活用して回答の分布を生成します。これにより、モデルに人工的に作られたコンセンサスを提示する前後の回答分布を比較することが可能となります。実験の結果、フロンティアの大型言語モデルが実際に同調性を示すことを確認し、先行研究を裏付けるとともに、分布間の比較を通じて新たな知見を提供しています。

経緯と関連報道

LeafSkill:再帰的LLMエージェント向けの効率的な葉レベルのアクション接地

arXiv:2610.32412v1 発表タイプ:新規 要旨:再帰型の大規模言語モデル(LLM)エージェントは、分解・実行・環境からのフィードバックを通じて長期的なタスクを解決する。しかし、原子的なサブタスクを生成した後、しばしば同じ大規模モデルを再度呼び出して、馴染みのある指示を実行可能なアクションに変換している。我々は、高レベルの計画はタスク固有である一方で、葉レベルのアクションの具現化はタスク間で繰り返され、環境が許容するアクションと照合可能であることを観察した。そこで、セマンティックに関連する具現化の経験を取得し、アクションテンプレートを現在のオブジェクトおよび許容されるアクションに結びつけ、軽量な17億パラメータの選択器によって結び付けられたアクションを選択するか、あるいは変更のないサブタスクを元のエージェントに委ねる外部再利用層であるLeafSkillを提案する。スキルは外部に留まり…

経緯と関連報道

プレフィックスのキーと値は後から重要になる:ループ型言語モデルにおける自己推測デコード向けRIPEキャッシュ

arXiv:2610.34436v1 発表タイプ:新規 要旨:ループ型言語モデルは、各トークンに対して層のブロックを$R$回実行するため、そのキーバリューキャッシュ(KVキャッシュ)には各再帰層ごとに$R$個の平面が格納され、自己予測的デコーディング(一部のループで予備的に推論し、残りの$R$すべてで検証する手法)ではそれらすべてが読み込まれる。我々は、プレフィックスのキーとバリューが影響を及ぼすのは後半に集中していることを発見した。同程度の摂動サイズにおいて、ループ25〜32はループ2〜9に比べてそれぞれ$e^{15.0}$倍(Huginn-0125)および$e^{12.8}$倍(Raven-Llama)も敏感であり、各ループごとの平面数は0.88および0.81という比率で最終的な平面へと幾何級数的に近づいていく。そして、最も深い平面単独で十分かどうかは、後半の平面がどれほど成熟しているかに依存する。Ravenでは、それを保存するだけでbf16からfp32への変更と区別できない一方、Huginnでは、全体の誤差の74%をわずか1%の位置が占めている。これをRIPEに展開すると、最も深い…

経緯と関連報道