本文へ移動
AI NEWS JOURNAL
AI, IN PERSPECTIVE

AI ニュースを検索

見出し・要約・本文から、情報のつながりを探します。

公開日時順

低ランク多線形分解によるLLMのハルシネーション検出

arXiv:2610.36191v1 公告タイプ:新規 要旨:大規模言語モデル(LLMs)は、流暢でありながら事実と一致しない応答を頻繁に生成し、その信頼性に対する懸念が高まっています。近年のハルシネーション検出手法は、内部表現を活用する傾向が強まっていますが、高次元の隠れ状態から有用な信号を抽出することは依然として困難です。既存のアプローチでは、選択された活性化値やプーリングベースの圧縮に依存することが多く、Transformer層、特徴モード、トークン全体に分散する識別力のある情報を見落としてしまう可能性があります。私たちは、LOTUS(Low-rank Order-statistic TUcker-based Subspace learning)を提案します。これは、ハルシネーション検出のための多線形低ランク分解フレームワークであり、LLMの隠れ状態からコンパクトな表現を抽出しつつ、ラベルへの依存度を低減します。

経緯と関連報道

CONCUR:多タスク・多報酬強化学習における一致型補助報酬

arXiv:2610.36437v1 発表タイプ:新規 要旨:大規模言語モデル(LLM)が複数のタスクに対して強化学習(RL)で学習する際、各タスクの主報酬は、長さ報酬などの補助報酬を制限することができる。すなわち、不適切な応答に対しては、補助報酬は主報酬を超えることができない。しかし、グループ相対優位推定器では、制限された補助報酬も他の要素と同様に扱われるため、主報酬の順序を逆転させたり、主報酬の上限においてのみ補助報酬が応答の順序を決定したりしてしまう。制限された補助報酬を維持すると一部のタスクに悪影響を及ぼし、一方でそれを排除すると別のタスクに悪影響を及ぼす。そこで我々は、各制限付き補助報酬の標準化スコアを、二つの条件を満たす最も近いスコアに置き換える優位推定器であるCONCURを提案する。具体的には、主報酬が高い応答には低いスコアを与えることはできず、また…

経緯と関連報道

トークン信頼度は単なるチェーン長にすぎないのか?推論トレースに対する信号処理的検証

arXiv:2610.36709v1 発表タイプ:新規 要旨:推論型言語モデルは、長い思考の連鎖を書き出すことで数学問題に解答し、問題ごとに多数の連鎖をサンプリングして多数決を取ることで、生成テキスト量が大幅に増えるというコストを伴いながら精度を向上させている。このコストを削減する一般的な手法として、モデルが各トークンを生成する際の信頼度に基づいて各連鎖をスコアリングする方法がある。ここでトークンとは、単語または単語の一部を指す。この手法では、2048トークンの移動平均を計算し、その平均値が最も低い連鎖を保持または停止する。私たちは、トークンごとに記録された信頼度を、音声やラジオにおける信号と同様の意味で捉え、スペクトル解析や急激な変化を検出する統計検定などの標準的な信号処理手法を用いてこの手法を評価した。私たちは、以下のデータセットから500問の各問題について16本の連鎖をサンプリングした。

経緯と関連報道

EKTルーター:身体化された視覚言語モデルにおける専門家と証拠の整合性

arXiv:2610.33044v1 発表タイプ:新規 要旨:身体を備えた視覚言語モデルは、部分的で変化する観測情報から質問に答える必要があります。その成功は、選択される推論能力と、それに利用可能な証拠の両方に依存します。専門家ルーターは内部計算を適応させ、ツール拡張型システムは外部証拠を獲得しますが、これらを独立に選択すると、適切な専門家が必要な証拠を持たない状況が生じる可能性があります。私たちは、能力専門家、オプションの知識、および知覚ツールを共同で選択する制限付きフレームワークであるEKT-Routerを提案します。結果に基づくシグネチャは、一般推論、空間推論、時空間推論の各専門家の重なり合う強みを表現します。共同ユーティリティは、呼び出し予算の下で完全な専門家–証拠経路のスコアリングを行います。取得後、パケット検証器が有効なものを承認します

新闻源配图 · arXiv cs.CV
経緯と関連報道

状態空間符号化による線形時間コンテキスト圧縮

arXiv:2610.33006v1 発表タイプ:新規 要旨:Transformerベースの大型言語モデル(LLMs)は、コンテキストサイズが増加するにつれて計算負荷とメモリ消費が大幅に増大するため、推論前にコンテキストをより短い表現に圧縮する手法が求められています。既存のソフトプロンプト圧縮手法は、通常、対象モデルと同じTransformerバックボーンを用いており、圧縮表現の生成には大きなレイテンシオーバーヘッドが生じます。このため、これらの手法は、コンテキストを一度圧縮して多数のクエリで再利用するオフライン環境に限定されています。私たちは、Mamba状態空間モデル(SSM)に基づくプラグアンドプレイ型のオンラインコンテキスト圧縮器「Boa Compressor」を提案します。これは任意長のコンテキストを単一の線形時間のパスで符号化し、その結果得られた表現を基に…

経緯と関連報道

証拠に基づく直感:マルチモーダルエージェントのための適応型デュアルメモリ

arXiv:2610.33019v1 発表タイプ:新規 要旨:マルチモーダルエージェントが持続的な相互作用を行う際、長期記憶は細粒度の証拠の想起と、全体的理解のための内面化された解釈という、二つの明確でありながら補完的な機能を果たす。エピソード記憶と潜在記憶はそれぞれ、明示的な履歴記録と内面化された経験を通じてこれらの要求に対応しているものの、エピソード記憶における証拠の網羅性と統合の限界、および潜在記憶における事実の基盤形成の限界により、いずれのパラダイムだけではタスク間で多様な記憶特性を十分に捉えることはできない。このギャップを埋めるために、我々はデュアルメモリフレームワークを提案する。これは、モデル固有の潜在記憶を直感的な事前分布として統合し、同時に複数インデックスを持つエピソード記憶を用いて、検索条件に基づく共同アライメントによって正確な証拠の再構築を実現するものである。At i

新闻源配图 · arXiv cs.CV
経緯と関連報道

Transformer理論の検証

arXiv:2610.32104v1 発表タイプ:新規 要旨:トランスフォーマー アーキテクチャの能力と限界を特徴付けるため、複数の形式理論が提案されており、それぞれがアーキテクチャの異なる側面を捉えるために異なる抽象化手法を用いている。これらの理論は、その基礎となる仮定や概念的枠組みに違いがあるため、トランスフォーマーにとってどのタスクが容易でどのタスクが困難かという予測において一致しないことがある。本研究では、トランスフォーマーの能力に関する7つの理論(Star-free、$\mathsf{AC}^0$、$\mathsf{TC}^0$、C-RASP、MPC、BAPO、および Sensitivity)を整理し、それらの結果を、異なる計算構造を網羅する一連のタスクに対する共通の予測マトリックスへと変換した。さらに、このマトリックスを完成させるための新たな理論的成果を提示する。その後、理論的な評価を行った

経緯と関連報道

DualPace:大規模言語モデルの推論における、非同期スケジューリングとGPU–CPU協調デコード

arXiv:2610.33501v1 発表タイプ:新規 要旨:大規模言語モデル(LLM)のサービスでは、推論スループットを向上させるためにバッチ処理が用いられるが、キー値(KV)キャッシュはシーケンス長に応じて増大し、GPU上での並行処理能力を制限する要因となっている。CPUオフロードによりホストメモリを活用してKV容量を拡張することは可能だが、既存のシステムは依然として大部分がGPUに依存しており、CPU上に常駐するリクエストが進捗するのは、GPUスケジューラが適切なオーバーラップの機会を提供した場合に限られる。その結果、ホストメモリとCPU計算は独立したサービス資源として機能せず、負荷下ではCPU側の進捗が断続的になり、末端のトークン間遅延(ITL)が過剰に増大するという問題が生じる。本稿では、ホストを独立してスケジュール可能なデコードエンジンへと変える、LLM向けの実行時環境であるDualPaceを提案する。DualPaceは、スケジューリング権限を二つのエンジン間に分割し、GPUエンジン

経緯と関連報道

PhaseBreak:不正な画像から動画へのアニメーション生成に対する先制的時間的保護

arXiv:2610.33070v1 発表タイプ:新規 要旨:画像から動画へ(I2V)の拡散モデルは、単一のポートレートや写真をアニメーション化し、被写体の許可なしに共有された画像をモーション合成に再利用可能にします。私たちは、このような用途に対する先制的な視覚的保護を検討しています。すなわち、画像が公開される前に、所有者が共有ワークフローを維持しつつ、下流のモーション生成を妨害する制限付きの摂動を加えます。既存のスペクトル破壊手法は、時間的表現を全体的に減衰させるため、微妙な動きや空間的に局在した動きに対しては十分な制御が得られません。私たちの核心的なアイデアは、生成される動態が時間的特徴の強度だけでなく、特徴イベントの発生順序にも依存することです。そこで、我々はホワイトボックス型のスペクトルリタイミング保護手法であるPhaseBreakを提案します。

経緯と関連報道

パラメトリックセッション状態は、履歴を再再生することなく検索意図を復元する

arXiv:2610.33047v1 発表タイプ:新規 要旨:長時間にわたるアシスタントは、多くの対話ターン前に設定された指称対象や制約、および現在の目標を理解して、追跡的なリクエストを解釈することがしばしばあります。そのため、中心的な課題は文脈の長さだけでなく、検索意図そのものでもあります。たとえば、「前の構成を使用してください」という現在のクエリには、関連する証拠を見つけるために必要なプロジェクト、エンティティ、バージョンといった用語が含まれていない場合があります。長文対応モデルは、対話を再現することでこれらの用語を復元できますが、そのたびに履歴処理のコストを負担することになります。従来の検索強化型生成(RAG)手法はコスト面で優れていますが、情報が十分に提供されたクエリを前提としています。一方、会話形式でのリライト手法は、履歴を再度読み返すか、明示的に維持されるテキストメモリに依存します。そこで私たちは「パラメトリックセッション状態」を提案します。

経緯と関連報道

文脈内依存関係解析のためのPOSシグネチャーによるデモンストレーション検索

arXiv:2610.31966v1 発表タイプ:新規 要旨:文脈内学習におけるデモンストレーションは、しばしば意味的類似性によって取得されるが、これは構造化予測における関連性を十分に反映しない場合がある。本研究では、POSシグネチャーに基づくポリシーを用いて、Universal Dependenciesの構文解析におけるデモンストレーション選択を検討した。このポリシーは文を重み付けされた品詞統計で表現し、ラベル付き訓練分割から長さが一致するゴールド解析済みの例を3つ取得する。我々は、微調整を行わないオープンウェイト言語モデル2種をUD English Web Treebankテストセットの全2,077文に対して評価し、ショット数やフォーマットが一致する固定および意味的3ショットベースライン、さらにゼロショット、チェーンオブソート、クリティック・リファインメントシステムと比較した。POSシグネチャーによる検索は、最も高いラベル付きアタ

経緯と関連報道

トレードオフ意識型テリトリーデザイン:企業向け顧客–セラー割り当てのための多目的意思決定システム

arXiv:2610.31701v1 発表タイプ:新規 要旨:企業顧客の購買体験は、製品体験やマーケティングだけでなく、繰り返し行われるリソース配分の意思決定によっても形成されます。B2Bの市場参入(GTM)組織においては、テリトリーデザインが、どのアカウントにセラーのカバレッジを提供するか、どのセラー–アカウント関係を維持するか、そして限られたフィールドキャパシティをどのように配分するかを決定します。しかし、このプロセスは多くの場合手作業で行われるため、機会の比較や価値の継続性の評価、さらには成長・バランス・キャパシティ・実現可能性といった要素間のトレードオフの検討が困難です。本稿では、企業向けGTM計画におけるトレードオフ意識型の顧客–セラー割り当てを支援する運用意思決定システムを提案します。本システムは、予測信号を統合してスコアリングを行う多次元アカウント価値層を含む三つの主要コンポーネントを組み合わせています。

Tradeoff-Aware Territory Design: A Multi-Objective Decision System for Enterprise Customer-to-Seller Allocation
経緯と関連報道

屋内無線地図推定のための協調的文脈内学習

arXiv:2610.31702v1 発表タイプ:新規 要旨:屋内無線地図推定(RME)は、カバレッジ計画、位置推定、ネットワーク展開などの無線通信アプリケーションにおいて不可欠である。しかし、既存の手法の多くは、高コストなラベル付きデータとタスク固有のモデル学習を必要とする教師あり学習パラダイムに従っている。さらに、屋内環境には建物のレイアウトや構造といったプライバシーに関わる情報が含まれており、これらを集中管理することはしばしば困難である。これらの課題に対処するため、私たちは初めて、屋内RMEを協調的文脈内学習(ICL)問題として定式化する試みを行った。提案するPoly-Rippleは、複数のクライアントがモデルの更新なしに大規模自己回帰型視覚モデル(LAVM)を用いてICLを行うフレームワークである。各クライアントは、自身のプライベートなデモンストレーションによってプロンプトを与えられる。

Collaborative In-Context Learning for Indoor Radio Map Estimation
経緯と関連報道

文脈または知識:大規模言語モデルが自らの回答をどのように帰属させるか

arXiv:2610.32109v1 発表タイプ:新規 要旨:言語モデルは、与えられた文書や自身のパラメトリックな知識に基づいて質問に答えることができる。では、後になってその回答の出所を問われた際、どのような基準で出所を報告するのか?本研究では、回答生成後かつ出所に関する質問が提示される前に、モデルのキーバリュー(KV)キャッシュに介入することでこの問題を検討した。4つのモデル(7B~32B)を用いた制御された事実確認タスクにおいて、文書のキャッシュを変更または削除しても、出所の報告内容には一切影響が見られなかった。一方で、同一の質問と回答トークンを用いた複数回の実行間で質問と回答のキャッシュを移植すると、その報告内容は受け渡され、寄贈元の出所報告に従う一方で、受領側の文書内容は変化しなかった。さらに、比較的小規模な2つのモデルでは、出所に関する質問が提示される前に適合させた方向へQ&A値を操作することで、出所の報告内容を意図的に制御することも可能であった。

経緯と関連報道

大規模言語モデル駆動エージェントの行動分析

arXiv:2610.32087v1 発表種別:新規 要旨:言語ベースのエージェントの行動を理解するには、行動が時間軸上でどのように組織化され、その組織化が文脈や結果とどのように関連しているかを把握する必要があります。私たちは、データ主導の行動発見と分析・実験的検証を結びつける一般的なフレームワークを提案します。記録された活動から導き出されるカテゴリは、何を測定するかを定義します。分析では、行動がプロセス内における位置を保持し、その関係性を解釈可能な仮説として表現します。留保された文脈での統計的評価および検定により、証拠の強度と適用範囲を検討します。さらに、プロンプトの制御を含む実験を通じて、意図的に変化させた条件下で行動と結果がどのように変化するかを検証します。反復的な自己反省に関する研究は、次のように示しています。

経緯と関連報道

実際の文書改訂におけるチャンク再計算:固定型、再帰型、および内容定義型チャンキングの更新コストと検索品質の測定

arXiv:2610.31019v1 公告タイプ:新規 要旨:リトリーバル拡張生成におけるチャンキング戦略は、ほとんどの場合静的なスナップショット上で評価されるが、知識ベースの基盤となる文書は常に変化し続けている。チャンクは独立して埋め込まれるため、編集後に境界が移動すると、変更されていないテキストも再び埋め込み直す必要が生じる。我々は、厳密なバイト単位での同一性維持ルールおよび固定された稠密エンコーダーを前提として、3種類の状態非依存型チャンカー(重複しない固定サイズ型、再帰的段落優先型、および内容定義型)について、中国語および英語のWikipediaにおける120組の隣接する改訂ペアを対象に、この更新コストを測定した。116記事からなる共通成功プールにおいて、パラメータを固定し長さを調整した条件下で、固定サイズ型チャンキングは新しいバージョンの埋め込み入力全体のワークロードの57〜68%を再計算することになる。再帰的チュー

Chunk Recomputation under Real Document Revisions: Measuring Update Cost and Retrieval Quality of Fixed, Recursive, and Content-Defined Chunking
経緯と関連報道