NVIDIA Nemotronを微調整して、地域の言語だけでなく地域の規則も理解できるようにする
AIの導入が世界的に拡大するにつれ、さまざまな言語や文化圏の人々が日常生活のより多くの場面でAIを活用しています。汎用的な言語モデルは…
AI NEWS JOURNAL
AI ニュースを検索
見出し・要約・本文から、情報のつながりを探します。
ProtoEEG：EEGの視覚的デコーディングのための構造化されたプロトタイプアライメント
arXiv:2610.33065v1 発表タイプ：新規 要旨：頭皮上の記録はノイズが多く、空間的に粗く、試行間および被験者間で変動するため、EEGによる視覚デコーディングは依然として困難である。多くのシステムでは、各試行を高密度な画像埋め込みに位置合わせしているが、その埋め込みには意味内容と、インスタンス固有のテクスチャ・姿勢・背景が混在している。このような手法では、EEGには存在しない詳細情報を必要とする上、予測を支える視覚的要因について明示的な説明を提供していない。そこで私たちは、共有可能な学習可能な視覚コードブックに基づくソフトな合成としてEEG–画像の位置合わせを再定式化する、プロトタイプ媒介型フレームワークである\textbf{ProtoEEG}を提案する。学習可能なEEGエンコーダーと固定された視覚教師が、同一の$K=64$個のプロトタイプに対する割り当て分布を生成し、それらの重み付けされた再構成が構造化された表現を形成する。
ヤコビアンレンズの数学的理論
arXiv:2610.31955v1 発表タイプ：新規 要旨：Anthropicによる最近の研究では、ジャコビアンレンズ（J-lens、Gurneeら、2026年）と呼ばれる新たな解釈可能性ツールが導入されました。この手法は、最先端の言語モデルの隠れ状態において、作業記憶に類似した表現を想起させる性質を持つ線形方向を特定しました。しかし、こうした特徴がJ-lensによって検出可能となるメカニズム的な特性については依然として不明です。そこで本研究では、J-lensの数学的理論を提案し、同理論が特に一貫性のある特徴――すなわち、空間的に一貫したリヤプノフモードのように機能する方向――を優先的に識別することを示します。これらの方向に沿った微小な摂動は層を跨いで増幅し、トークン位置間でほぼ一定に保たれ、異なる文脈間でも一貫しています。一方でw
MANTA：非同期型BFTにおけるDAGの柔軟性を解き放つ
arXiv:2610.34419v1 発表タイプ：新規 要旨：DAGベースのBFTプロトコルは、単一リーダーによる提案経路を、共有グラフで連結された並行なブロック提案へと置き換えることで、コンセンサス設計に大きな転換をもたらしました。このグラフでは、参照がコンセンサスの証拠を表現しています。しかし、異種の広域ネットワーク（WAN）下では、ストラグル効果により、既存の設計はラウンドの長時間化や性能の低下という問題に直面しています。その根本原因は、硬直的なラウンド進行にあります。すなわち、レプリカは同期的にラウンドを進め、前のラウンドからの十分な参照が揃うまで待機した後でようやく次へ進むのです。そこで私たちは、非同期BFTコンセンサス向けの柔軟なDAG成長フレームワークを提案します。私たちの重要な観察は、安全性和活性性のために参照クォーラムは必要であるものの、それがすべてのラウンド進行を阻害する必要はないということです。代わりに、接続性r
PRISM：暗黙的な確率的変調による大規模言語モデルのサンプリング多様性の促進
arXiv:2610.32101v1 発表タイプ：新規 要旨：大規模言語モデル（LLM）は、出力分布が既知の意味的なモードに集中する「モード崩壊」を示す。多様性が失われると、繰り返しサンプリングは発見ではなく意味的な反復となり、稀ではあるがより強力な解が表面化しにくくなるため、自己進化や継続的学習の維持が困難になる。ほとんどの対策は推論時のみに介入し、サンプルを調整するだけで、多様性をモデルの能力として組み込むことはできない。そこで私たちは、訓練時に多様性をモデル内部に内蔵するフレームワークであるPRISMを提案する。PRISMは、(i) 各プロンプトに対し、多様でありながら正解でもある複数の教師モデルによる解答を対応付けるサブモジュラー型キュレーションと、(ii) 特殊トークンの摂動を実行可能な形に変換する確率的埋め込み変調を組み合わせている。
賢くささやく：ASRのファインチューニングにおけるスマートなサブセット選択
arXiv:2610.32997v1 発表タイプ：新規 要旨：OpenAIのWhisperなどの自動音声認識（ASR）モデルは、音声認識の精度を大幅に向上させていますが、特に大量のトランスクリプト付き音声データが利用可能な場合でも、ファインチューニングには高いコストがかかります。そのため、多くの実務者がこれらのモデルを新たな言語や領域に適応させるのは困難です。本研究では、ASRのファインチューニングに用いるためのより小規模な学習セットを選択する、埋め込みベースのサブセット選択手法を提案します。Whisperの事前学習済みエンコーダを用いて、各音声サンプルを固定次元の埋め込み空間へ写像し、貪欲なk-センター法を適用して、多様で代表性のある学習データのサブセットを選び出します。本手法をヘブライ語およびデンマーク語に対して評価した結果、k-センター選択はしばしば
OpenESM：エネルギー駆動モデルはスケーラブルな基礎学習者
arXiv:2610.33005v1 発表タイプ：新規 要旨：エネルギー基盤モデルは、ドメイン固有のタスクにおいて有望な特性を示しているものの、汎用的なシナリオのモデリングには依然として課題が残っています。このギャップを埋めるため、私たちは基礎的な言語モデリング向けにエネルギー駆動型モデル（ESM）を設計しました。ESMは、エネルギーによる探索を活用してトークン生成を精緻化するため、エネルギー駆動とトークン生成を単一のアーキテクチャに統合しています。具体的には、まずエネルギー景観上での潜在状態を最適化し、次いでその精緻化された潜在状態を用いてトークン生成を行います。大規模コーパス上でこのようなエネルギー駆動型の事前学習を実施することで、ESMは一般的に有効なエネルギー景観を学習し、好ましいトークンが低いエネルギー値に対応することを確立します。ESMのスケーリング特性を検討するため、私たちはESMを事前学習させます
ニューラル・マインにおけるカナリア：画像分類器の静かで自信に満ちた失敗を捉える
arXiv:2610.33063v1 発表タイプ：新規 要旨：展開された視覚モデルは、確信度の高い予測を自動的に受け入れるため、高確信度の誤りが静かに拡散してしまう。標準的な故障予測手法である最大ソフトマックス確率（MSP）には構造上の盲点がある。すなわち、分類器ヘッドから読み取られるスカラー値として、その確信度勾配に直交する特徴空間の変動に対して一階的に無力である。特徴空間上の検出器に関する要因分析を通じて、それらがMSPを補完できない理由を説明する条件付き冗長性原理を明らかにする。すなわち、それらが測定するクラス間分離の幾何学的特性は、既にMSPに符号化されており、融合によって崩壊してしまうのだ。そこで生き残る信号は、マンフォールド外の残差に対するクラス条件付き典型性であり、さらにこの残差の分布はバックボーンによって異なり、ほぼ正規分布から重い裾尾まで多様である。
EKTルーター：身体を伴う視覚言語モデルにおける専門家と証拠の整合性
arXiv:2610.33044v1 発表タイプ：新規 要旨：身体を備えた視覚言語モデルは、部分的で変化する観測情報から質問に答える必要がある。その成功は、選択される推論能力と、それに利用可能な証拠の両方に依存する。専門家ルーターは内部計算を適応させる一方で、ツール拡張型システムは外部証拠を獲得する。これらを独立に選択すると、適切な専門家が必要な証拠を持たない状況が生じる可能性がある。そこで我々は、能力専門家、オプション知識、知覚ツールを統合的に選択する制限付きフレームワークであるEKT-Routerを提案する。結果に基づくシグネチャーは、一般推論、空間推論、時空間推論の各専門家の重なり合う強みを表現する。共同ユーティリティは、呼び出し予算の下で完全な専門家–証拠経路のスコアリングを行う。取得後、パケット検証器が有効なものを承認する
ReMedI：制御可能な分子最適化のための推論時精緻化と自己蒸留
arXiv:2610.32103v1 発表タイプ：新規 要旨：創薬において、リード最適化では、透過性の向上や毒性の低減といった相反する特性を改善しつつ、リードの活性を損なう可能性のあるスケルトン変更を抑制しなければなりません。C-MORAL などの強化学習ベースのポストトレーニング手法は、分子言語モデルを微調整することで、関心のある目的に対して分子リードを直接最適化するというアプローチを採用していますが、これには高価なタスク固有のデータセットが必要であり、多目的最適化（MOO）の実現にも課題が伴います。我々は、事前学習済みモデルには、ゼロショット生成では効率的に到達できない有用な分子編集がすでに含まれている可能性があると主張します。ゼロショット生成の探索能力の限界に着目し、我々は効率的なメトロポリス・ハスティングス探索戦略を開発し、ベット
ブロッキングを伴わない監視：協調型ランタイム向けOTPスタイルのフォールトトレランスのエビデンス主導型再設計
arXiv:2610.34521v1 発表タイプ：新規 要旨：主流のランタイム上のアクターフレームワークは、Erlang/OTPスタイルの監督を謳っていますが、OTPの整合性契約は同期的でシングルスレッドの監督者を前提としており、ポートもその前提の欠如を未検証のリスクとして引き継いでいます。私たちは、固定されたリビジョンにおけるさらに3つのRust製アクターフレームワークのソースと、文言通りに読んだOTPのドキュメントおよびソースコードを基に、各監督保証を評価し、それぞれの設計決定の裏付けとなる証拠を記録しました。盲目的な対抗審査とフレームワーク間の比較研究により、24種類の不具合クラスが浮き彫りになり、そのうち8つは単一の根本原因に帰着します。すなわち、同期的な監督者が暗黙的に得ているアトミック性を、明示的なメカニズムによって再構築している点です。私たちは、監督実行時環境を導入します…
状態空間符号化による線形時間コンテキスト圧縮
arXiv:2610.33006v1 発表タイプ：新規 要旨：Transformerベースの大型言語モデル（LLMs）は、コンテキストサイズが増加するにつれて計算負荷とメモリ消費が大幅に増大するため、推論前にコンテキストをより短い表現に圧縮する手法が求められています。既存のソフトプロンプト圧縮手法は、通常、対象モデルと同じTransformerバックボーンを用いており、圧縮表現の生成には大きなレイテンシオーバーヘッドが生じます。このため、これらの手法は、コンテキストを一度圧縮して多数のクエリで再利用するオフライン環境に限定されています。私たちは、Mamba状態空間モデル（SSM）に基づくプラグアンドプレイ型のオンラインコンテキスト圧縮器「Boa Compressor」を提案します。これは任意長のコンテキストを単一の線形時間のパスで符号化し、その結果得られた表現を基に…
証拠に基づく直感：マルチモーダルエージェントのための適応型デュアルメモリ
arXiv:2610.33019v1 発表タイプ：新規 要旨：マルチモーダルエージェントが持続的な相互作用を行う際、長期記憶は細かな証拠の想起と、全体的理解のための内面化された解釈という、二つの明確でありながら補完的な機能を果たす。エピソード記憶と潜在記憶はそれぞれ、明示的な履歴記録と内面化された経験を通じてこれらの要求に応えているものの、エピソード記憶における証拠の網羅性と統合性、そして潜在記憶における事実の基盤形成という限界により、タスク間で多様な記憶特性を十分に捉えることはできない。このギャップを埋めるために、我々はデュアルメモリフレームワークを提案する。これは、モデル固有の潜在記憶を直感的な事前知識として統合し、同時に、検索条件に基づいた共同アライメントによって正確な証拠の再構築を可能にする多インデックス型エピソード記憶を組み合わせたものである。At i
多様体上のフローマッチングにおける互換性のある尤度
arXiv:2610.31981v1 発表タイプ：新規 要旨：最も単純な非ユークリッド多様体である1次元平坦トーラスにおいて、データ分布からサンプルを押し離す速度場によって、リーマン幾何学的フローマッチングの最近提案された拡張手法が全局的に最適化される分布を示す。我々は、この失敗モードを「互換性」と呼ぶ性質に起因すると指摘する。尤度に基づくフローマッチング目的関数が互換的であるとは、その母集団最小化解がデータと結合によって誘導される周辺速度場を再現する場合をいう。我々は互換性に関する一般条件を提示し、それを既存の手法に適用した上で、互換性のもとで消滅する残差成分の観点から最悪ケースの誤差を評価する。さらに、既存の互換性を満たす目的関数は、コンパクト多様体上では実現不可能な速度に密度を付与してしまうことを指摘する。
執筆アドバイスから原稿ガバナンスへ：学術的改訂のための制約付き変換フレームワーク
arXiv:2610.33001v1 発表タイプ：新規 要旨：学術的な改稿は、正当な執筆上の目的が衝突する場合、ガバナンス上の問題を生じさせる。執筆プロセスおよび社会科学の研究は、改稿が再帰的であり、文言には認識論的・学問分野固有の約束が伴うことを示している。これらの文献は重要な制約を特定しているものの、簡潔さや掲載媒体の形式、文体の多様性が証拠や主張の境界と対立する際に、どの目的を優先すべきかについては明確にしていない。本論文では、改稿を順序付けられた制約下での許容可能性の問題としてモデル化する。タスクに依存する不変量、文脈上の制約、そして変更可能な表現選択が許容可能な領域を定義し、証拠と判断を認可された主張の境界に結び付ける主張保持契約が設定される。さらに、四つのガバナンスに関する命題が具体化される。
スパースな探索履歴を用いた検索：不完全な探索ログとゼロコストの代理モデルからのタスク間アーキテクチャ探索
arXiv:2610.32179v1 発表タイプ：新規 要旨：ニューラルアーキテクチャ探索（NAS）はコストが高額であるが、タスク間の転移により過去のタスクから得た知識を再利用することでコストを削減できる。しかし、既存手法はスパースな探索履歴やタスク固有の転移失敗に苦慮している。本研究では、チャンピオンベースの初期化とペアワイズランカーによる共同事前学習を通じて、スパースなソースログとゼロコストの代理モデルを組み合わせるリスクロバストな戦略を提案する。TransNAS-Bench-101において、本提案は深刻な最悪ケースでの失敗を緩和し、マイクロ自動符号化における最悪10％順位を290から43へ、マクロ室内レイアウトにおける最悪10％順位を465から45へと低下させた。さらに、13種類のセルスペースターゲット全体で、平均性能および最悪ケース性能の両面において、代理モデルのみを使用したランカーを10ターゲットで上回りつつ、競争力のある平均性能も維持した。
行動のペナルティをいつ停止すべきか？VLA強化学習におけるマルチンゲールGRPO
arXiv:2610.32431v1 発表タイプ：新規 要旨：視覚・言語・行動（VLA）のロールアウトが失敗したとしても、すべての行動が失敗に寄与したわけではない。しかし、グループ相対方策最適化（GRPO）では、ロールアウト中の全行動に対して単一の軌道レベルの優位性が割り当てられるため、本来有用な復旧試行すら、それらが修正しようとする誤りとともにペナルティを受ける可能性がある。失敗フィードバックにおける理想的な停止条件は、成功確率および方策スコアのマルチンゲールを用いて特徴付けられる。これらの停止点において、除去された勾配寄与は、保持された情報条件下で条件付き期待値がゼロとなる。したがって、切り捨てによって参照となるGRPOのグループ勾配推定器の期待値は維持され、その共分散を低減できる。このような停止の一つは、成功の条件付き確率が
Transformer理論の検証
arXiv:2610.32104v1 発表タイプ：新規 要旨：トランスフォーマー アーキテクチャの能力と限界を特徴付けるため、複数の形式理論が提案されており、それぞれがアーキテクチャの異なる側面を捉えるために異なる抽象化手法を用いている。これらの理論は、その基礎となる仮定や概念的枠組みに違いがあるため、トランスフォーマーにとってどのタスクが容易でどのタスクが困難かという予測において一致しないことがある。本研究では、トランスフォーマーの能力に関する7つの理論（Star-free、$\mathsf{AC}^0$、$\mathsf{TC}^0$、C-RASP、MPC、BAPO、および Sensitivity）を整理し、それらの結果を、異なる計算構造を網羅する一連のタスクに対する共通の予測マトリックスへと変換した。さらに、このマトリックスを完成させるための新たな理論的成果を提示する。その後、理論的な評価を行った
パラメトリックセッション状態は、履歴を再再生することなく検索意図を復元する
arXiv:2610.33047v1 発表タイプ：新規 要旨：長時間にわたるアシスタントは、多くの対話ターン前に設定された指称対象や制約、および現在の目標を理解して、追跡的なリクエストを解釈することがしばしばあります。そのため、中心的な課題は文脈の長さだけでなく、検索意図そのものでもあります。たとえば、「前の構成を使用してください」という現在のクエリには、関連する証拠を見つけるために必要なプロジェクト、エンティティ、バージョンといった用語が含まれていない場合があります。長文対応モデルは、対話を再現することでこれらの用語を復元できますが、そのたびに履歴処理のコストを負担することになります。従来の検索強化型生成（RAG）手法はコスト面で優れていますが、情報が十分に提供されたクエリを前提としています。一方、会話形式でのリライト手法は、履歴を再度読み返すか、明示的に維持されるテキストメモリに依存します。そこで私たちは「パラメトリックセッション状態」を提案します。
OpenAIが3つの重要な科学的発見と、学術関係者との新たな協働方法を発表
長年にわたる数学の未解決問題の解法を含む数百件の原稿を一斉に公開してからわずか1か月も経たないうちに、OpenAIは数学、計算機科学、物理学におけるさらに3つの「重要な」発見を発表しました。今回異なっている点は、結果を指導するため、OpenAIが「羊飼い」と表現する外部の専門家を起用したことです[…]
