本文へ移動
AI NEWS JOURNAL
AI, IN PERSPECTIVE

AI ニュースを検索

見出し・要約・本文から、情報のつながりを探します。

公開日時順

推論を行う大規模言語モデルのための教師あり微調整:サーベイ

arXiv:2610.37681v1 公表タイプ:新規 要旨:近年、大規模な推論モデルは複雑なタスクの解決において顕著な能力を示しており、長文の思考過程データに対する教師あり微調整(SFT)が、その推論能力を引き出し、さらに向上させるための重要な基盤となっています。推論に特化したSFTの改善と分析の両面で急速な進展が見られるにもかかわらず、この分野には依然として、急成長する文献を統合した体系的なサーベイが存在しません。このギャップを埋めるために、私たちは推論向けSFTに関する最近の進展を包括的にレビューし、方法論的設計と分析的検討という二つの視点から文献を考察します。まず、SFTパイプライン全体にわたる方法論上の改良を概観し、それらをデータ中心のアプローチとアルゴリズム中心のアプローチに分類します。

経緯と関連報道

OmniBrain-0:身体を備えた知能のための統一されたエージェントモデル

arXiv:2610.36013v1 発表タイプ:新規 要旨:汎用的な身体を備えた知能は、ロボットが長期間にわたり多様なスキルを連携させ、タスクの進行状況を追跡し、障害から回復できるよう求められる。専門的なポリシーだけではタスクレベルでの信頼性を確保できず、強力なマルチモーダルエージェントも、コンパクトなモデルでは再現が難しい高コストな推論や外部経験に依存している。そこで私たちは、共有の高レベルな意思決定モデルを通じて操作とナビゲーションを協調させ、タスク理解、計画、進行状況の追跡、フィードバックに基づく回復を統合する、軽量で統一された身体を備えたエージェントであるOmniBrain-0を提案する。当社の段階的学習フレームワークは、身体を備えた事前学習、ドメイン特化型エージェントの蒸留、およびマルチティーチャーによるオンポリシー蒸留(MOPD)を組み合わせている。これにより、強

経緯と関連報道

どの方針に対して校正されるのか?介入下における固定世界モデルに対するコンフォーマル不確実性

arXiv:2610.35877v1 発表タイプ:新規 要旨:デプロイメント方針を変更すると、物理的な遷移メカニズムや予測器はそのままでも、世界モデルの不確実性が無効化される可能性がある。一歩先の予測において、源と対象の法則が条件付きメカニズム $P(Y|X)=Q(Y|X)$ を共有している場合、介入は事前結果の測度変化 $w(X)=dQ_X/dP_X$ によって特定される。方針制御された動的系では、この比は状態占有と行動傾向の項に分解される。重み付けされたコンフォーマル校正は、マージナルカバレッジを対象の法則へと移行させる;推定された比 $\hat w$ を用いれば、$P_Q\{Y \in C_{\hat w}(X)\} \ge 1-\alpha-TV(Q,\hat Q) \ge 1-\alpha-E_P|w-\hat w|$ が成立する。ソース対ターゲットのドメイン分類器に対する集団ロスレグレットは、同様の比の誤差を上限付ける。もし $h$ がそのクリッピング

経緯と関連報道

トークン信頼度は単なるチェーン長にすぎないのか?推論トレースに対する信号処理的検証

arXiv:2610.36709v1 発表タイプ:新規 要旨:推論型言語モデルは、長い思考の連鎖を書き出すことで数学問題に解答し、問題ごとに多数の連鎖をサンプリングして多数決を取ることで、生成テキスト量が大幅に増えるというコストを伴いながら精度を向上させている。このコストを削減する一般的な手法として、モデルが各トークンを生成する際の信頼度に基づいて各連鎖をスコアリングする方法がある。ここでトークンとは、単語または単語の一部を指す。この手法では、2048トークンの移動平均を計算し、その平均値が最も低い連鎖を保持または停止する。私たちは、トークンごとに記録された信頼度を、音声やラジオにおける信号と同様の意味で捉え、スペクトル解析や急激な変化を検出する統計検定などの標準的な信号処理手法を用いてこの手法を評価した。私たちは、以下のデータセットから500問の各問題について16本の連鎖をサンプリングした。

経緯と関連報道

ヤコビアンレンズの数学的理論

arXiv:2610.31955v1 発表タイプ:新規 要旨:Anthropicによる最近の研究では、ジャコビアンレンズ(J-lens、Gurneeら、2026年)と呼ばれる新たな解釈可能性ツールが導入されました。この手法は、最先端の言語モデルの隠れ状態において、作業記憶に類似した表現を想起させる性質を持つ線形方向を特定しました。しかし、こうした特徴がJ-lensによって検出可能となるメカニズム的特性については依然として不明です。そこで本研究では、J-lensの数学的理論を提案し、同理論が特に一貫性のある特徴――すなわち、空間的に一貫したリヤプノフモードのように働く方向――を優先的に識別することを示します。これらの方向に沿った微小な摂動は層を跨いで増幅し、トークン位置間でほぼ一定に保たれ、異なる文脈間でも一貫しています。一方でw

新闻源配图 · arXiv cs.LG
経緯と関連報道

ニューラル・マインにおけるカナリア:画像分類器の静かで自信に満ちた失敗を捉える

arXiv:2610.33063v1 発表タイプ:新規 要旨:展開された視覚モデルは、確信度の高い予測を自動的に受け入れるため、高確信度の誤りが静かに拡散してしまう。標準的な故障予測手法である最大ソフトマックス確率(MSP)には構造上の盲点がある。すなわち、分類器ヘッドから読み取られるスカラー値として、その確信度勾配に直交する特徴空間の変動に対して一階的に無力である。特徴空間上の検出器に関する要因分析を通じて、それらがMSPを補完できない理由を説明する条件付き冗長性原理を明らかにする。すなわち、それらが測定するクラス間分離の幾何学的特性は、既にMSPに符号化されており、融合によって崩壊してしまうのだ。そこで生き残る信号は、マンフォールド外の残差に対するクラス条件付き典型性であり、さらにこの残差の分布はバックボーンによって異なり、ほぼ正規分布から重い裾尾まで多様である。

経緯と関連報道

EKTルーター:身体化された視覚言語モデルにおける専門家と証拠の整合性

arXiv:2610.33044v1 発表タイプ:新規 要旨:身体を備えた視覚言語モデルは、部分的で変化する観測情報から質問に答える必要があります。その成功は、選択される推論能力と、それに利用可能な証拠の両方に依存します。専門家ルーターは内部計算を適応させ、ツール拡張型システムは外部証拠を獲得しますが、これらを独立に選択すると、適切な専門家が必要な証拠を持たない状況が生じる可能性があります。私たちは、能力専門家、オプションの知識、および知覚ツールを共同で選択する制限付きフレームワークであるEKT-Routerを提案します。結果に基づくシグネチャは、一般推論、空間推論、時空間推論の各専門家の重なり合う強みを表現します。共同ユーティリティは、呼び出し予算の下で完全な専門家–証拠経路のスコアリングを行います。取得後、パケット検証器が有効なものを承認します

新闻源配图 · arXiv cs.CV
経緯と関連報道

ブロッキングを伴わない監視:協調型ランタイム向けOTPスタイルのフォールトトレランスのエビデンス主導型再設計

arXiv:2610.34521v1 発表タイプ:新規 要旨:主流のランタイム上のアクターフレームワークは、Erlang/OTPスタイルの監督を謳っていますが、OTPの整合性契約は同期的でシングルスレッドの監督者を前提としており、ポートもその前提の欠如を未検証のリスクとして引き継いでいます。私たちは、固定されたリビジョンにおけるさらに3つのRust製アクターフレームワークのソースと、文言通りに読んだOTPのドキュメントおよびソースコードを基に、各監督保証を評価し、それぞれの設計決定の裏付けとなる証拠を記録しました。盲目的な対抗審査とフレームワーク間の比較研究により、24種類の不具合クラスが浮き彫りになり、そのうち8つは単一の根本原因に帰着します。すなわち、同期的な監督者が暗黙的に得ているアトミック性を、明示的なメカニズムによって再構築している点です。私たちは、監督実行時環境を導入します…

経緯と関連報道

多様体上のフローマッチングにおける互換性のある尤度

arXiv:2610.31981v1 発表タイプ:新規 要旨:最も単純な非ユークリッド多様体である1次元平坦トーラスにおいて、データ分布からサンプルを押し離す速度場によって、リーマン幾何学的フローマッチングの最近提案された拡張手法が全局的に最適化される分布を示す。我々は、この失敗モードを「互換性」と呼ぶ性質に起因すると指摘する。尤度に基づくフローマッチング目的関数が互換的であるとは、その母集団最小化解がデータと結合によって誘導される周辺速度場を再現する場合をいう。我々は互換性に関する一般条件を提示し、それを既存の手法に適用した上で、互換性のもとで消滅する残差成分の観点から最悪ケースの誤差を評価する。さらに、既存の互換性を満たす目的関数は、コンパクト多様体上では実現不可能な速度に密度を付与してしまうことを指摘する。

新闻源配图 · arXiv cs.LG
経緯と関連報道

OpenAIが3つの重要な科学的発見と、学術関係者との新たな協働方法を発表

長年にわたる数学の未解決問題の解法を含む数百件の原稿を一斉に公開してからわずか1か月も経たないうちに、OpenAIは数学、計算機科学、物理学におけるさらに3つの「重要な」発見を発表しました。今回異なっているのは、結果を指導するため、OpenAIが「羊飼い」と表現する外部の専門家を起用した点です[…]

OpenAI announces three big science discoveries and a new way to work with academics
経緯と関連報道