本文へ移動
AI NEWS JOURNAL
AI, IN PERSPECTIVE

AI ニュースを検索

見出し・要約・本文から、情報のつながりを探します。

公開日時順

フェアなディープフェイク検出のための交差的不変学習

arXiv:2610.37881v1 発表タイプ:新規 要旨:ディープフェイク検出モデルは全体的な精度は高いものの、人口統計上の各グループ間で性能に大きな偏りが見られ、一部のグループでは他のグループに比べて偽陽性率が著しく高くなるという問題があります。既存の公平性を考慮した手法は、モデルの出力を制限してグループ間の予測結果を均等化することによってこの問題に対処していますが、根本的な特徴レベルのバイアスには対処していません。その結果、モデルは依然として肌の質感など、人口統計的特性を操作されたコンテンツを検出するための間接的な手がかりとして利用してしまう可能性があります。この問題を解決するために、我々は交差的不変学習(IIL)というフレームワークを提案します。これは、単にモデルの出力を調整するだけでなく、特徴学習自体を改善するものです。IILでは、最も困難な人口統計的区分を特定することを繰り返し行い

経緯と関連報道

モデルキャリブレーションのためのアモルティズド局所化事後推論—海洋乱流閉鎖への応用

arXiv:2610.37731v1 発表種別:新規 要旨:モデルの不一致により、単一のキャリブレーションパラメータだけでは、文脈領域全体にわたって物理的応答を再現できない場合がある。さらに、観測値や文脈における不確実性もキャリブレーションに影響を及ぼし、これらを考慮・定量化する必要がある。本研究では、ターゲットとなる文脈への近接度に応じて観測尤度に重み付けを行うことで、局所化された事後分布の族を構築する。ガウス型の局所化重みは、共分散の膨張を通じて文脈の不確実性を組み込み、領域境界での反射および不均一な文脈サンプリングに対する補正をオプションで適用できる。条件付き正規化フローを用いて、この事後分布の族をアモルティズド変分推論によって近似する。所定の文脈測度の下で局所化された事後分布を統合することで、

経緯と関連報道

大規模言語モデルのアライメント向け、ランキングを考慮した差分プライバシーによるリストワイズな好みの公開

arXiv:2610.37682v1 公告タイプ:新規 要旨:リストワイズな好みフィードバックは、ペアワイズ比較に比べて大規模言語モデル(LLMs)のアライメントにおいてより豊かな監督情報を提供しますが、完全なランキングはさらに機密性の高いユーザーの嗜好も明らかにしてしまいます。既存のプライバシー保護型アライメント手法は主にペアワイズなフィードバックに焦点を当てていますが、ローカル差分プライバシー(LDP)下でのリストワイズなアライメントは未だ十分に探求されていません。このリストワイズな領域へLDPを拡張することは、重大な課題を提起します。すなわち、完全なランキング空間の高い機密性のために過剰なノイズが必要となり、結果としてリストワイズな監督の利点が無効化されてしまうのです。この課題に対処するため、我々は下流の学習における監督の粒度とプライバシー・ノイズの相互作用を分析し、リストワイズな好みをプライバシー保護するランク-awareな指数関数メカニズムを提案します。

経緯と関連報道

トークン信頼度は単なるチェーン長にすぎないのか?推論トレースに対する信号処理的検証

arXiv:2610.36709v1 発表タイプ:新規 要旨:推論型言語モデルは、長い思考の連鎖を書き出すことで数学問題に解答し、問題ごとに多数の連鎖をサンプリングして多数決を取ることで、生成テキスト量が大幅に増えるというコストを伴いながら精度を向上させている。このコストを削減する一般的な手法として、モデルが各トークンを生成する際の信頼度に基づいて各連鎖をスコアリングする方法がある。ここでトークンとは、単語または単語の一部を指す。この手法では、2048トークンの移動平均を計算し、その平均値が最も低い連鎖を保持または停止する。私たちは、トークンごとに記録された信頼度を、音声やラジオにおける信号と同様の意味で捉え、スペクトル解析や急激な変化を検出する統計検定などの標準的な信号処理手法を用いてこの手法を評価した。私たちは、以下のデータセットから500問の各問題について16本の連鎖をサンプリングした。

経緯と関連報道

ヤコビアンレンズの数学的理論

arXiv:2610.31955v1 発表タイプ:新規 要旨:Anthropicによる最近の研究では、ジャコビアンレンズ(J-lens、Gurneeら、2026年)と呼ばれる新たな解釈可能性ツールが導入されました。この手法は、最先端の言語モデルの隠れ状態において、作業記憶に類似した表現を想起させる性質を持つ線形方向を特定しました。しかし、こうした特徴がJ-lensによって検出可能となるメカニズム的特性については依然として不明です。そこで本研究では、J-lensの数学的理論を提案し、同理論が特に一貫性のある特徴――すなわち、空間的に一貫したリヤプノフモードのように働く方向――を優先的に識別することを示します。これらの方向に沿った微小な摂動は層を跨いで増幅し、トークン位置間でほぼ一定に保たれ、異なる文脈間でも一貫しています。一方でw

新闻源配图 · arXiv cs.LG
経緯と関連報道

PRISM:暗黙的な確率的変調による大規模言語モデルのサンプリング多様性の促進

arXiv:2610.32101v1 発表タイプ:新規 要旨:大規模言語モデル(LLM)は、出力分布が既知の意味的なモードに集中する「モード崩壊」を示す。多様性が失われると、繰り返しサンプリングは発見ではなく意味的な反復となり、稀ではあるがより強力な解が表面化しにくくなるため、自己進化や継続的学習の維持が困難になる。ほとんどの対策は推論時のみに介入し、サンプルを調整するだけで、多様性をモデルの能力として組み込むことはできない。そこで私たちは、訓練時に多様性をモデル内部に内蔵するフレームワークであるPRISMを提案する。PRISMは、(i) 各プロンプトに対し、多様でありながら正解でもある複数の教師モデルによる解答を対応付けるサブモジュラー型キュレーションと、(ii) 特殊トークンの摂動を実行可能な形に変換する確率的埋め込み変調を組み合わせている。

経緯と関連報道

賢くささやく:ASRのファインチューニングにおけるスマートなサブセット選択

arXiv:2610.32997v1 公開タイプ:新規 要旨:OpenAIのWhisperなどの自動音声認識(ASR)モデルは、音声認識の精度を大幅に向上させていますが、特に大量のトランスクリプション済み音声データが利用可能な場合でも、ファインチューニングには高いコストがかかります。そのため、多くの実務者がこれらのモデルを新たな言語や領域に適応させるのは困難です。本研究では、ASRのファインチューニングに用いるためのより小規模な学習データセットを選択する、埋め込みベースのサブセット選択手法を提案します。Whisperの事前学習済みエンコーダを用いて、各音声サンプルを固定次元の埋め込み空間へ写像し、貪欲なk-センター法を適用して、多様で代表性のある学習データのサブセットを選定します。本手法をヘブライ語およびデンマーク語に対して評価した結果、k-センター選択はしばしば

新闻源配图 · arXiv cs.CL
経緯と関連報道

多様体上のフローマッチングにおける互換性のある尤度

arXiv:2610.31981v1 発表タイプ:新規 要旨:最も単純な非ユークリッド多様体である1次元平坦トーラスにおいて、データ分布からサンプルを押し離す速度場によって、リーマン幾何学的フローマッチングの最近提案された拡張手法が全局的に最適化される分布を示す。我々は、この失敗モードを「互換性」と呼ぶ性質に起因すると指摘する。尤度に基づくフローマッチング目的関数が互換的であるとは、その母集団最小化解がデータと結合によって誘導される周辺速度場を再現する場合をいう。我々は互換性に関する一般条件を提示し、それを既存の手法に適用した上で、互換性のもとで消滅する残差成分の観点から最悪ケースの誤差を評価する。さらに、既存の互換性を満たす目的関数は、コンパクト多様体上では実現不可能な速度に密度を付与してしまうことを指摘する。

新闻源配图 · arXiv cs.LG
経緯と関連報道

事後学習は大規模言語モデルの価値観の好みをどのように形成するのか?

arXiv:2610.33371v1 発表タイプ:新規 要旨:事後学習の過程で、大規模言語モデル(LLMs)は、異なる人口統計グループに関連する意見が不均衡な割合で含まれるコーパスから価値観の好みを学習します。こうした不均衡が増幅されることで、一部のグループの意見がさらに過小評価される可能性があります。しかし、意見の混合状態が事後学習の各経路において価値観の好みにどのような影響を及ぼすのかは依然として不明です。この疑問に答えるため、私たちは、異なる意見の混合状態を持つ事後学習用コーパスと、SFT、DPO、GRPOに基づく5つの事後学習経路を用いた制御実験を行いました。その結果、事後学習によって意見の不均衡が各経路ごとに異なる形で増幅されることが明らかになりました。一度価値観の好みが増幅されると、さらなる事後学習によってそれを除去できるかどうかは、事後学習の

経緯と関連報道

スパースな探索履歴を用いた検索:不完全な探索ログとゼロコストの代理モデルからのタスク間アーキテクチャ探索

arXiv:2610.32179v1 発表タイプ:新規 要旨:ニューラルアーキテクチャ探索(NAS)はコストが高額であるが、タスク間の転移により過去のタスクから得た知識を再利用することでコストを削減できる。しかし、既存手法はスパースな探索履歴やタスク固有の転移失敗に苦慮している。本研究では、チャンピオンベースの初期化とペアワイズランカーによる共同事前学習を通じて、スパースなソースログとゼロコストの代理モデルを組み合わせるリスクロバストな戦略を提案する。TransNAS-Bench-101において、本提案は深刻な最悪ケースでの失敗を緩和し、マイクロ自動符号化における最悪10%順位を290から43へ、マクロ室内レイアウトにおける最悪10%順位を465から45へと低下させた。さらに、13種類のセルスペースターゲット全体で、平均性能および最悪ケース性能の両面において、代理モデルのみを使用したランカーを10ターゲットで上回りつつ、競争力のある平均性能も維持した。

経緯と関連報道

Transformer理論の検証

arXiv:2610.32104v1 発表タイプ:新規 要旨:トランスフォーマー アーキテクチャの能力と限界を特徴付けるため、複数の形式理論が提案されており、それぞれがアーキテクチャの異なる側面を捉えるために異なる抽象化手法を用いている。これらの理論は、その基礎となる仮定や概念的枠組みに違いがあるため、トランスフォーマーにとってどのタスクが容易でどのタスクが困難かという予測において一致しないことがある。本研究では、トランスフォーマーの能力に関する7つの理論(Star-free、$\mathsf{AC}^0$、$\mathsf{TC}^0$、C-RASP、MPC、BAPO、および Sensitivity)を整理し、それらの結果を、異なる計算構造を網羅する一連のタスクに対する共通の予測マトリックスへと変換した。さらに、このマトリックスを完成させるための新たな理論的成果を提示する。その後、理論的な評価を行った

経緯と関連報道

文脈内依存関係解析のためのPOSシグネチャーによるデモンストレーション検索

arXiv:2610.31966v1 発表タイプ:新規 要旨:文脈内学習におけるデモンストレーションは、しばしば意味的類似性によって取得されるが、これは構造化予測における関連性を十分に反映しない場合がある。本研究では、POSシグネチャーに基づくポリシーを用いて、Universal Dependenciesの構文解析におけるデモンストレーション選択を検討した。このポリシーは文を重み付けされた品詞統計で表現し、ラベル付き訓練分割から長さが一致するゴールド解析済みの例を3つ取得する。我々は、微調整を行わないオープンウェイト言語モデル2種をUD English Web Treebankテストセットの全2,077文に対して評価し、ショット数やフォーマットが一致する固定および意味的3ショットベースライン、さらにゼロショット、チェーンオブソート、クリティック・リファインメントシステムと比較した。POSシグネチャーによる検索は、最も高いラベル付きアタ

経緯と関連報道

ノイズの多い検索から意思決定証拠へ:インコンテキスト学習のためのシルバーエビデンス実証

arXiv:2610.32128v1 発表タイプ:新規 要旨:RAGやリトリーバル増強型少人数ショットICLは、意思決定に重要な証拠が長くノイズの多い文脈の中に埋もれている場合、性能が低下することがあります。取得されたパッセージやデモンストレーションには、冗長な情報や注意を逸らす要素が含まれる可能性があります。専門家によってラベル付けされた開発例は、各決定を支えるテキストを特定できるものの、これらのアノテーションは通常、回答側の根拠としてのみ利用され、ノイズの多い検索結果をフィルタリングするための監督信号としては用いられていません。そこで私たちは、生の取得パッセージを生成された目標条件付き証拠要約に置き換えるシルバーエビデンス・デモンストレーションを提案します。各ラベル付き開発例について、LLMは専門家のラベルやゴールドエビデンスにアクセスせずにシルバーエビデンスを生成し、これを専門家のラベルと組み合わせます。

経緯と関連報道

大規模言語モデルの分布整合性とその一般化特性

arXiv:2610.31687v1 公告タイプ:新規 要旨:大規模言語モデルは、アンケート調査などにおいて、人間の行動をシミュレートし、分析するための手段としてますます広く利用されています。これらの用途において重要な特性は、出力が分布整合性を満たすことであり、すなわち、出力の分布をある参照(ここでは人間の)分布に一致させることです。分布整合性を実現する際の障壁の一つは、少量の学習データから一般化することです。本研究では、(1) 大規模言語モデルをどのように分布整合させるか、および (2) いったん整合された大規模言語モデルが、未見のサンプルや関連しないトピック・タスクに対してもどのように一般化できるかを検討しています。二つの大規模ベンチマークを用いて、大規模言語モデルは確かに分布整合性を達成でき、同一ドメイン内の未見の質問に対しても一般化可能であることを示しました。一方で、トピック間の一般化は、各トピック間の関係性に依存します(例えば、

経緯と関連報道

LazyFlash:長文コンテキストの高速微調整のための前方は密集、後方は疎なアテンション

arXiv:2610.31911v1 発表タイプ:新規 要旨:大規模言語モデル(LLMs)がますます長いシーケンスを処理するにつれ、アテンションは主要な計算上のボトルネックとなっています。疎なアテンション手法は主に推論段階での利用を対象としていますが、多くの手法は依然として密集型で学習を行ったり、疎な学習に対応できなかったりします。さらに、その追加の複雑さにより、疎さを実際の実行時間の短縮へと結びつけることが難しく、結果として実用的には密集型アテンションが広く用いられています。本論文では、アテンションの学習は後方パスが支配的であるという観察に基づき、前方パスを完全に密集型に保ちつつ、後方パスを疎にするLazyFlashという手法を提案します。LazyFlashは前方パスを厳密に密集型に維持するため、学習済みモデルは従来の密集型モデルのままであり、vLLMなどの既存システムでも一切変更なしにサービス可能です。一方、後方パスについては、LazyFlashは勾配を…

経緯と関連報道

セバスチャン・ラシュカが8本のビデオコース「ゼロから推論モデルを構築する」を公開しました

セバスティアン・ラシュカは2026年10月24日、Ahead of AI誌(magazine.sebastianraschka.com)において、全8回・総計11時間超のPythonおよびPyTorchに関する実践型ビデオ講座を公開しました。同講座では、推論モデルの評価、推論時のスケーリング、強化学習(RLVR)、知識蒸留について体系的に解説し、すべての手法を事前学習済みQwen3-0.6Bモデルを基に実装しています。

注目する理由:本コースは、著者が『ゼロから大規模言語モデルを構築する』に続いて提供する高度な技術教育コンテンツであり、現在の主流LLMの核心的な進化方向である推論能力の強化に焦点を当てています。基礎環境の構築からGRPO強化学習、自己蒸留に至るまで、一連の技術スタックを網羅しており、すべての実装が「ゼロから手書き」で再現可能であることを明示しています。そのため、高い教育効果と実践的なエンジニアリングリファレンスとしての価値を備えています。

経緯と関連報道

Amazon SageMaker AIがマルチラウンド強化学習(MTRL)フレームワークを発表し、エージェントによる多段階タスクのエンドツーエンド学習をサポートします

AWSはMulti-Turn Reinforcement Learning(MTRL)機能をリリースし、ユーザーはSageMaker AI上で、ステップ単位のアノテーションなしに、タスク全体の遷移と最終的な結果に基づいて大規模モデルエージェントを訓練できるようになりました。Wordleを例に、AgentCoreのデプロイ、データ準備、PPOトレーニング、報酬設計、コスト分析に至るまで、一連のワークフローを実演しています。

経緯と関連報道