本文へ移動
AI NEWS JOURNAL
AI, IN PERSPECTIVE

AI ニュースを検索

見出し・要約・本文から、情報のつながりを探します。

公開日時順

CONCUR:多タスク・多報酬強化学習における一致型補助報酬

arXiv:2610.36437v1 発表タイプ:新規 要旨:大規模言語モデル(LLM)が複数のタスクに対して強化学習(RL)で学習する際、各タスクの主報酬は、長さ報酬などの補助報酬を制限することができる。すなわち、不適切な応答に対しては、補助報酬は主報酬を超えることができない。しかし、グループ相対優位推定器では、制限された補助報酬も他の要素と同様に扱われるため、主報酬の順序を逆転させたり、主報酬の上限においてのみ補助報酬が応答の順序を決定したりしてしまう。制限された補助報酬を維持すると一部のタスクに悪影響を及ぼし、一方でそれを排除すると別のタスクに悪影響を及ぼす。そこで我々は、各制限付き補助報酬の標準化スコアを、二つの条件を満たす最も近いスコアに置き換える優位推定器であるCONCURを提案する。具体的には、主報酬が高い応答には低いスコアを与えることはできず、また…

経緯と関連報道

トークン信頼度は単なるチェーン長にすぎないのか?推論トレースに対する信号処理的検証

arXiv:2610.36709v1 発表タイプ:新規 要旨:推論型言語モデルは、長い思考の連鎖を書き出すことで数学問題に解答し、問題ごとに多数の連鎖をサンプリングして多数決を取ることで、生成テキスト量が大幅に増えるというコストを伴いながら精度を向上させている。このコストを削減する一般的な手法として、モデルが各トークンを生成する際の信頼度に基づいて各連鎖をスコアリングする方法がある。ここでトークンとは、単語または単語の一部を指す。この手法では、2048トークンの移動平均を計算し、その平均値が最も低い連鎖を保持または停止する。私たちは、トークンごとに記録された信頼度を、音声やラジオにおける信号と同様の意味で捉え、スペクトル解析や急激な変化を検出する統計検定などの標準的な信号処理手法を用いてこの手法を評価した。私たちは、以下のデータセットから500問の各問題について16本の連鎖をサンプリングした。

経緯と関連報道

EKTルーター:身体化された視覚言語モデルにおける専門家と証拠の整合性

arXiv:2610.33044v1 発表タイプ:新規 要旨:身体を備えた視覚言語モデルは、部分的で変化する観測情報から質問に答える必要があります。その成功は、選択される推論能力と、それに利用可能な証拠の両方に依存します。専門家ルーターは内部計算を適応させ、ツール拡張型システムは外部証拠を獲得しますが、これらを独立に選択すると、適切な専門家が必要な証拠を持たない状況が生じる可能性があります。私たちは、能力専門家、オプションの知識、および知覚ツールを共同で選択する制限付きフレームワークであるEKT-Routerを提案します。結果に基づくシグネチャは、一般推論、空間推論、時空間推論の各専門家の重なり合う強みを表現します。共同ユーティリティは、呼び出し予算の下で完全な専門家–証拠経路のスコアリングを行います。取得後、パケット検証器が有効なものを承認します

新闻源配图 · arXiv cs.CV
経緯と関連報道

状態空間符号化による線形時間コンテキスト圧縮

arXiv:2610.33006v1 発表タイプ:新規 要旨:Transformerベースの大型言語モデル(LLMs)は、コンテキストサイズが増加するにつれて計算負荷とメモリ消費が大幅に増大するため、推論前にコンテキストをより短い表現に圧縮する手法が求められています。既存のソフトプロンプト圧縮手法は、通常、対象モデルと同じTransformerバックボーンを用いており、圧縮表現の生成には大きなレイテンシオーバーヘッドが生じます。このため、これらの手法は、コンテキストを一度圧縮して多数のクエリで再利用するオフライン環境に限定されています。私たちは、Mamba状態空間モデル(SSM)に基づくプラグアンドプレイ型のオンラインコンテキスト圧縮器「Boa Compressor」を提案します。これは任意長のコンテキストを単一の線形時間のパスで符号化し、その結果得られた表現を基に…

経緯と関連報道

証拠に基づく直感:マルチモーダルエージェントのための適応型デュアルメモリ

arXiv:2610.33019v1 発表タイプ:新規 要旨:マルチモーダルエージェントが持続的な相互作用を行う際、長期記憶は細粒度の証拠の想起と、全体的理解のための内面化された解釈という、二つの明確でありながら補完的な機能を果たす。エピソード記憶と潜在記憶はそれぞれ、明示的な履歴記録と内面化された経験を通じてこれらの要求に対応しているものの、エピソード記憶における証拠の網羅性と統合の限界、および潜在記憶における事実の基盤形成の限界により、いずれのパラダイムだけではタスク間で多様な記憶特性を十分に捉えることはできない。このギャップを埋めるために、我々はデュアルメモリフレームワークを提案する。これは、モデル固有の潜在記憶を直感的な事前分布として統合し、同時に複数インデックスを持つエピソード記憶を用いて、検索条件に基づく共同アライメントによって正確な証拠の再構築を実現するものである。At i

新闻源配图 · arXiv cs.CV
経緯と関連報道

Transformer理論の検証

arXiv:2610.32104v1 発表タイプ:新規 要旨:トランスフォーマー アーキテクチャの能力と限界を特徴付けるため、複数の形式理論が提案されており、それぞれがアーキテクチャの異なる側面を捉えるために異なる抽象化手法を用いている。これらの理論は、その基礎となる仮定や概念的枠組みに違いがあるため、トランスフォーマーにとってどのタスクが容易でどのタスクが困難かという予測において一致しないことがある。本研究では、トランスフォーマーの能力に関する7つの理論(Star-free、$\mathsf{AC}^0$、$\mathsf{TC}^0$、C-RASP、MPC、BAPO、および Sensitivity)を整理し、それらの結果を、異なる計算構造を網羅する一連のタスクに対する共通の予測マトリックスへと変換した。さらに、このマトリックスを完成させるための新たな理論的成果を提示する。その後、理論的な評価を行った

経緯と関連報道

パラメトリックセッション状態は、履歴を再再生することなく検索意図を復元する

arXiv:2610.33047v1 発表タイプ:新規 要旨:長時間にわたるアシスタントは、多くの対話ターン前に設定された指称対象や制約、および現在の目標を理解して、追跡的なリクエストを解釈することがしばしばあります。そのため、中心的な課題は文脈の長さだけでなく、検索意図そのものでもあります。たとえば、「前の構成を使用してください」という現在のクエリには、関連する証拠を見つけるために必要なプロジェクト、エンティティ、バージョンといった用語が含まれていない場合があります。長文対応モデルは、対話を再現することでこれらの用語を復元できますが、そのたびに履歴処理のコストを負担することになります。従来の検索強化型生成(RAG)手法はコスト面で優れていますが、情報が十分に提供されたクエリを前提としています。一方、会話形式でのリライト手法は、履歴を再度読み返すか、明示的に維持されるテキストメモリに依存します。そこで私たちは「パラメトリックセッション状態」を提案します。

経緯と関連報道

文脈内依存関係解析のためのPOSシグネチャーによるデモンストレーション検索

arXiv:2610.31966v1 発表タイプ:新規 要旨:文脈内学習におけるデモンストレーションは、しばしば意味的類似性によって取得されるが、これは構造化予測における関連性を十分に反映しない場合がある。本研究では、POSシグネチャーに基づくポリシーを用いて、Universal Dependenciesの構文解析におけるデモンストレーション選択を検討した。このポリシーは文を重み付けされた品詞統計で表現し、ラベル付き訓練分割から長さが一致するゴールド解析済みの例を3つ取得する。我々は、微調整を行わないオープンウェイト言語モデル2種をUD English Web Treebankテストセットの全2,077文に対して評価し、ショット数やフォーマットが一致する固定および意味的3ショットベースライン、さらにゼロショット、チェーンオブソート、クリティック・リファインメントシステムと比較した。POSシグネチャーによる検索は、最も高いラベル付きアタ

経緯と関連報道

文脈または知識:大規模言語モデルが自らの回答をどのように帰属させるか

arXiv:2610.32109v1 発表タイプ:新規 要旨:言語モデルは、与えられた文書や自身のパラメトリックな知識に基づいて質問に答えることができる。では、後になってその回答の出所を問われた際、どのような基準で出所を報告するのか?本研究では、回答生成後かつ出所に関する質問が提示される前に、モデルのキーバリュー(KV)キャッシュに介入することでこの問題を検討した。4つのモデル(7B~32B)を用いた制御された事実確認タスクにおいて、文書のキャッシュを変更または削除しても、出所の報告内容には一切影響が見られなかった。一方で、同一の質問と回答トークンを用いた複数回の実行間で質問と回答のキャッシュを移植すると、その報告内容は受け渡され、寄贈元の出所報告に従う一方で、受領側の文書内容は変化しなかった。さらに、比較的小規模な2つのモデルでは、出所に関する質問が提示される前に適合させた方向へQ&A値を操作することで、出所の報告内容を意図的に制御することも可能であった。

経緯と関連報道

実際の文書改訂におけるチャンク再計算:固定型、再帰型、および内容定義型チャンキングの更新コストと検索品質の測定

arXiv:2610.31019v1 公告タイプ:新規 要旨:リトリーバル拡張生成におけるチャンキング戦略は、ほとんどの場合静的なスナップショット上で評価されるが、知識ベースの基盤となる文書は常に変化し続けている。チャンクは独立して埋め込まれるため、編集後に境界が移動すると、変更されていないテキストも再び埋め込み直す必要が生じる。我々は、厳密なバイト単位での同一性維持ルールおよび固定された稠密エンコーダーを前提として、3種類の状態非依存型チャンカー(重複しない固定サイズ型、再帰的段落優先型、および内容定義型)について、中国語および英語のWikipediaにおける120組の隣接する改訂ペアを対象に、この更新コストを測定した。116記事からなる共通成功プールにおいて、パラメータを固定し長さを調整した条件下で、固定サイズ型チャンキングは新しいバージョンの埋め込み入力全体のワークロードの57〜68%を再計算することになる。再帰的チュー

Chunk Recomputation under Real Document Revisions: Measuring Update Cost and Retrieval Quality of Fixed, Recursive, and Content-Defined Chunking
経緯と関連報道

NVIDIAがKumo Forecastを発表:事前学習による時系列表現、過去パターン検索、説明可能性を統合した多変量予測モデル

NVIDIAは、オープンソースの時系列予測モデル「Kumo Forecast」(旧称:NV-Tesseract Forecasting)を発表しました。同モデルはMOMENT-1-large Transformerアーキテクチャを基盤とし、直接予測とDomain-Aware Representation and Retrieval(DARR)による二重経路推論をサポートするとともに、モデル構造を変更することなく利用できる解釈可能性フレームワークを内蔵しています。

経緯と関連報道