見出し・要約・本文から、情報のつながりを探します。
arXiv:2610.37881v1 発表タイプ：新規 要旨：ディープフェイク検出モデルは全体的な精度は高いものの、人口統計上の各グループ間で性能に大きな偏りが見られ、一部のグループでは他のグループに比べて偽陽性率が著しく高くなるという問題があります。既存の公平性を考慮した手法は、モデルの出力を制限してグループ間の予測結果を均等化することによってこの問題に対処していますが、根本的な特徴レベルのバイアスには対処していません。その結果、モデルは依然として肌の質感など、人口統計的特性を操作されたコンテンツを検出するための間接的な手がかりとして利用してしまう可能性があります。この問題を解決するために、我々は交差的不変学習（IIL）というフレームワークを提案します。これは、単にモデルの出力を調整するだけでなく、特徴学習自体を改善するものです。IILでは、最も困難な人口統計的区分を特定することを繰り返し行い
arXiv:2610.37731v1 発表種別：新規 要旨：モデルの不一致により、単一のキャリブレーションパラメータだけでは、文脈領域全体にわたって物理的応答を再現できない場合がある。さらに、観測値や文脈における不確実性もキャリブレーションに影響を及ぼし、これらを考慮・定量化する必要がある。本研究では、ターゲットとなる文脈への近接度に応じて観測尤度に重み付けを行うことで、局所化された事後分布の族を構築する。ガウス型の局所化重みは、共分散の膨張を通じて文脈の不確実性を組み込み、領域境界での反射および不均一な文脈サンプリングに対する補正をオプションで適用できる。条件付き正規化フローを用いて、この事後分布の族をアモルティズド変分推論によって近似する。所定の文脈測度の下で局所化された事後分布を統合することで、
arXiv:2610.37682v1 公告タイプ：新規 要旨：リストワイズな好みフィードバックは、ペアワイズ比較に比べて大規模言語モデル（LLMs）のアライメントにおいてより豊かな監督情報を提供しますが、完全なランキングはさらに機密性の高いユーザーの嗜好も明らかにしてしまいます。既存のプライバシー保護型アライメント手法は主にペアワイズなフィードバックに焦点を当てていますが、ローカル差分プライバシー（LDP）下でのリストワイズなアライメントは未だ十分に探求されていません。このリストワイズな領域へLDPを拡張することは、重大な課題を提起します。すなわち、完全なランキング空間の高い機密性のために過剰なノイズが必要となり、結果としてリストワイズな監督の利点が無効化されてしまうのです。この課題に対処するため、我々は下流の学習における監督の粒度とプライバシー・ノイズの相互作用を分析し、リストワイズな好みをプライバシー保護するランク-awareな指数関数メカニズムを提案します。
arXiv:2610.37680v1 発表タイプ：新規 要旨：フロンティアモデルと小型言語モデルの性能差を埋める手法としては、通常は蒸留が用いられます。すなわち、フロンティアモデル（教師）の出力に対して小型モデル（生徒）を微調整することで転移を行いますが、この方法では転移に必要な計算コストが伴う上、転移された知識はほとんど不透明なままです。そこで私たちは「アーティファクト蒸留」を提案します。これは、教師モデルが学習課題を解き、その問題解決手順を外部にアーカイブしておき、生徒モデルが推論時にそのアーカイブを参照するという手法です。これにより、勾配による更新は一切不要となります。LiveBenchの4つのタスクにおいて、Claude Opus 4.5が作成したアーカイブを用いることで、Claude Haiku 4.5は空間的推論において、コストを60％に抑えながら、無補助のClaude Sonnet 4.5を0.707対0.647で上回り、テーブル結合タスクではコストを89％に抑えた上でSonnet 4.5と同等の性能を達成しました。さらに、同じ生データのアーカイブを用いることで
arXiv:2610.37788v1 公告タイプ：新規 要旨：言語モデルアシスタントは、ユーザーが誤った回答を示唆すると、正しい回答を変更することがあります。この現象は「迎合行動」と呼ばれ、通常は好みに基づく事後訓練に起因するとされていますが、初期の測定では事前学習済みモデルにも見られました。そこで、我々は訓練のあらゆる可能な段階でこれを測定することで、その発生源を明らかにします。ベースモデルから監督下での微調整、好みに基づく最適化を経てリリースに至るまで、5つの系統に属する13のオープンなチェックポイントを対象としました。さらに、注入された主張がモデルの回答をどの程度変化させるかと、回答がどれほど強固に保持されていたかを区別し、主張を行う主体やその信頼性、および主張の強さを変化させながら検証を行いました。その結果、異なる起源を持つ二種類の迎合行動が浮き彫りになり、いずれも複数のデータセットで再現されました。主張への従順さ i
arXiv:2610.39017v1 発表タイプ：新規 要旨：分散型コンセンサスおよび一貫性プロトコルは、その解析が極めて困難でありながらクラウドの基盤を成すものであるため、通常は本番環境への導入前に厳密な証明と形式検証を経る。一方で、運用中に頻繁に発生するプロトコルの変更には、同程度の厳密さがほとんど適用されておらず、安全性を損なうリスクが高まっている。本論文では、手動による変更に伴う安全性違反のリスクを排除するため、分散プロトコル向けの自動最適化ツール「DistOptimize」を提案する。DistOptimizeは、学術分野で用いられる言語から実運用で使用されるフレームワークへとスループット向上の最適化手法を移行し、Rocqにおいて書き換えの正当性を検証するとともに、キャリブレーションとILPベースの探索を組み合わせてその適用を自動化する。
arXiv:2610.36432v1 公表タイプ：新規 要旨：ホモグリフおよび非表示文字による透かしは、編集ベースの透かしです。モデルがテキストを生成する方法を変更するのではなく、テキストが生成された後にその中に信号を隠す手法です。同形異義文字（見た目は同じか非常に似ているがUnicodeコードポイントが異なる文字）に置き換えたり、表示されない文字を挿入したりすることで、テキストを生成したモデルへのアクセスなしに実現します。生成時透かしは、トークナイザーがテキストを分割する方式のため、リソースが限られた言語では効果が低下します。これらの透かしは個々の文字単位で動作するため、トークナイザーには一切影響を与えません。そこで、こうした透かしがこのギャップを回避できるのかという疑問が生じます。24種類の文字体系に属する40の言語バリエーションを対象に、各文字が持つ隠蔽ビット数（容量）と、そのうちどれだけが
arXiv:2610.35877v1 発表タイプ：新規 要旨：デプロイメント方針を変更すると、物理的な遷移メカニズムや予測器はそのままでも、世界モデルの不確実性が無効化される可能性がある。一歩先の予測において、源と対象の法則が条件付きメカニズム $P(Y|X)=Q(Y|X)$ を共有している場合、介入は事前結果の測度変化 $w(X)=dQ_X/dP_X$ によって特定される。方針制御された動的系では、この比は状態占有と行動傾向の項に分解される。重み付けされたコンフォーマル校正は、マージナルカバレッジを対象の法則へと移行させる；推定された比 $\hat w$ を用いれば、$P_Q\{Y \in C_{\hat w}(X)\} \ge 1-\alpha-TV(Q,\hat Q) \ge 1-\alpha-E_P|w-\hat w|$ が成立する。ソース対ターゲットのドメイン分類器に対する集団ロスレグレットは、同様の比の誤差を上限付ける。もし $h$ がそのクリッピング
arXiv:2610.36709v1 発表タイプ：新規 要旨：推論型言語モデルは、長い思考の連鎖を書き出すことで数学問題に解答し、問題ごとに多数の連鎖をサンプリングして多数決を取ることで、生成テキスト量が大幅に増えるというコストを伴いながら精度を向上させている。このコストを削減する一般的な手法として、モデルが各トークンを生成する際の信頼度に基づいて各連鎖をスコアリングする方法がある。ここでトークンとは、単語または単語の一部を指す。この手法では、2048トークンの移動平均を計算し、その平均値が最も低い連鎖を保持または停止する。私たちは、トークンごとに記録された信頼度を、音声やラジオにおける信号と同様の意味で捉え、スペクトル解析や急激な変化を検出する統計検定などの標準的な信号処理手法を用いてこの手法を評価した。私たちは、以下のデータセットから500問の各問題について16本の連鎖をサンプリングした。
arXiv:2610.33065v1 発表タイプ：新規 要旨：頭皮上の記録はノイズが多く、空間的に粗く、試行間および被験者間で変動するため、EEGによる視覚デコーディングは依然として困難である。多くのシステムでは、各試行を高密度な画像埋め込みに位置合わせしているが、その埋め込みには意味内容と、インスタンス固有のテクスチャ・姿勢・背景が混在している。このような手法では、EEGには存在しない詳細情報を必要とする上、予測を支える視覚的要因について明示的な説明を提供していない。そこで私たちは、共有可能な学習可能な視覚コードブックに基づくソフトな合成としてEEG–画像の位置合わせを再定式化する、プロトタイプ媒介型フレームワークである\textbf{ProtoEEG}を提案する。学習可能なEEGエンコーダーと固定された視覚教師が、同一の$K=64$個のプロトタイプに対する割り当て分布を生成し、それらの重み付けされた再構成が構造化された表現を形成する。
arXiv:2610.32101v1 発表タイプ：新規 要旨：大規模言語モデル（LLM）は、出力分布が既知の意味的なモードに集中する「モード崩壊」を示す。多様性が失われると、繰り返しサンプリングは発見ではなく意味的な反復となり、稀ではあるがより強力な解が表面化しにくくなるため、自己進化や継続的学習の維持が困難になる。ほとんどの対策は推論時のみに介入し、サンプルを調整するだけで、多様性をモデルの能力として組み込むことはできない。そこで私たちは、訓練時に多様性をモデル内部に内蔵するフレームワークであるPRISMを提案する。PRISMは、(i) 各プロンプトに対し、多様でありながら正解でもある複数の教師モデルによる解答を対応付けるサブモジュラー型キュレーションと、(ii) 特殊トークンの摂動を実行可能な形に変換する確率的埋め込み変調を組み合わせている。
arXiv:2610.32997v1 公開タイプ：新規 要旨：OpenAIのWhisperなどの自動音声認識（ASR）モデルは、音声認識の精度を大幅に向上させていますが、特に大量のトランスクリプション済み音声データが利用可能な場合でも、ファインチューニングには高いコストがかかります。そのため、多くの実務者がこれらのモデルを新たな言語や領域に適応させるのは困難です。本研究では、ASRのファインチューニングに用いるためのより小規模な学習データセットを選択する、埋め込みベースのサブセット選択手法を提案します。Whisperの事前学習済みエンコーダを用いて、各音声サンプルを固定次元の埋め込み空間へ写像し、貪欲なk-センター法を適用して、多様で代表性のある学習データのサブセットを選定します。本手法をヘブライ語およびデンマーク語に対して評価した結果、k-センター選択はしばしば
arXiv:2610.33006v1 発表タイプ：新規 要旨：Transformerベースの大型言語モデル（LLMs）は、コンテキストサイズが増加するにつれて計算負荷とメモリ消費が大幅に増大するため、推論前にコンテキストをより短い表現に圧縮する手法が求められています。既存のソフトプロンプト圧縮手法は、通常、対象モデルと同じTransformerバックボーンを用いており、圧縮表現の生成には大きなレイテンシオーバーヘッドが生じます。このため、これらの手法は、コンテキストを一度圧縮して多数のクエリで再利用するオフライン環境に限定されています。私たちは、Mamba状態空間モデル（SSM）に基づくプラグアンドプレイ型のオンラインコンテキスト圧縮器「Boa Compressor」を提案します。これは任意長のコンテキストを単一の線形時間のパスで符号化し、その結果得られた表現を基に…
arXiv:2610.31981v1 発表タイプ：新規 要旨：最も単純な非ユークリッド多様体である1次元平坦トーラスにおいて、データ分布からサンプルを押し離す速度場によって、リーマン幾何学的フローマッチングの最近提案された拡張手法が全局的に最適化される分布を示す。我々は、この失敗モードを「互換性」と呼ぶ性質に起因すると指摘する。尤度に基づくフローマッチング目的関数が互換的であるとは、その母集団最小化解がデータと結合によって誘導される周辺速度場を再現する場合をいう。我々は互換性に関する一般条件を提示し、それを既存の手法に適用した上で、互換性のもとで消滅する残差成分の観点から最悪ケースの誤差を評価する。さらに、既存の互換性を満たす目的関数は、コンパクト多様体上では実現不可能な速度に密度を付与してしまうことを指摘する。
arXiv:2610.32104v1 発表タイプ：新規 要旨：トランスフォーマー アーキテクチャの能力と限界を特徴付けるため、複数の形式理論が提案されており、それぞれがアーキテクチャの異なる側面を捉えるために異なる抽象化手法を用いている。これらの理論は、その基礎となる仮定や概念的枠組みに違いがあるため、トランスフォーマーにとってどのタスクが容易でどのタスクが困難かという予測において一致しないことがある。本研究では、トランスフォーマーの能力に関する7つの理論（Star-free、$\mathsf{AC}^0$、$\mathsf{TC}^0$、C-RASP、MPC、BAPO、および Sensitivity）を整理し、それらの結果を、異なる計算構造を網羅する一連のタスクに対する共通の予測マトリックスへと変換した。さらに、このマトリックスを完成させるための新たな理論的成果を提示する。その後、理論的な評価を行った
機械にとって「夜」とは何でしょうか？
arXiv:2610.32109v1 発表タイプ：新規 要旨：言語モデルは、与えられた文書や自身のパラメトリックな知識に基づいて質問に答えることができる。では、後になってその回答の出所を問われた際、どのような基準で出所を報告するのか？本研究では、回答生成後かつ出所に関する質問が提示される前に、モデルのキーバリュー（KV）キャッシュに介入することでこの問題を検討した。4つのモデル（7B～32B）を用いた制御された事実確認タスクにおいて、文書のキャッシュを変更または削除しても、出所の報告内容には一切影響が見られなかった。一方で、同一の質問と回答トークンを用いた複数回の実行間で質問と回答のキャッシュを移植すると、その報告内容は受け渡され、寄贈元の出所報告に従う一方で、受領側の文書内容は変化しなかった。さらに、比較的小規模な2つのモデルでは、出所に関する質問が提示される前に適合させた方向へQ&A値を操作することで、出所の報告内容を意図的に制御することも可能であった。
arXiv:2610.31687v1 公告タイプ：新規 要旨：大規模言語モデルは、アンケート調査などにおいて、人間の行動をシミュレートし、分析するための手段としてますます広く利用されています。これらの用途において重要な特性は、出力が分布整合性を満たすことであり、すなわち、出力の分布をある参照（ここでは人間の）分布に一致させることです。分布整合性を実現する際の障壁の一つは、少量の学習データから一般化することです。本研究では、(1) 大規模言語モデルをどのように分布整合させるか、および (2) いったん整合された大規模言語モデルが、未見のサンプルや関連しないトピック・タスクに対してもどのように一般化できるかを検討しています。二つの大規模ベンチマークを用いて、大規模言語モデルは確かに分布整合性を達成でき、同一ドメイン内の未見の質問に対しても一般化可能であることを示しました。一方で、トピック間の一般化は、各トピック間の関係性に依存します（例えば、
arXiv:2610.31911v1 発表タイプ：新規 要旨：大規模言語モデル（LLMs）がますます長いシーケンスを処理するにつれ、アテンションは主要な計算上のボトルネックとなっています。疎なアテンション手法は主に推論段階での利用を対象としていますが、多くの手法は依然として密集型で学習を行ったり、疎な学習に対応できなかったりします。さらに、その追加の複雑さにより、疎さを実際の実行時間の短縮へと結びつけることが難しく、結果として実用的には密集型アテンションが広く用いられています。本論文では、アテンションの学習は後方パスが支配的であるという観察に基づき、前方パスを完全に密集型に保ちつつ、後方パスを疎にするLazyFlashという手法を提案します。LazyFlashは前方パスを厳密に密集型に維持するため、学習済みモデルは従来の密集型モデルのままであり、vLLMなどの既存システムでも一切変更なしにサービス可能です。一方、後方パスについては、LazyFlashは勾配を…
セバスティアン・ラシュカは2026年10月24日、Ahead of AI誌（magazine.sebastianraschka.com）において、全8回・総計11時間超のPythonおよびPyTorchに関する実践型ビデオ講座を公開しました。同講座では、推論モデルの評価、推論時のスケーリング、強化学習（RLVR）、知識蒸留について体系的に解説し、すべての手法を事前学習済みQwen3-0.6Bモデルを基に実装しています。
注目する理由：本コースは、著者が『ゼロから大規模言語モデルを構築する』に続いて提供する高度な技術教育コンテンツであり、現在の主流LLMの核心的な進化方向である推論能力の強化に焦点を当てています。基礎環境の構築からGRPO強化学習、自己蒸留に至るまで、一連の技術スタックを網羅しており、すべての実装が「ゼロから手書き」で再現可能であることを明示しています。そのため、高い教育効果と実践的なエンジニアリングリファレンスとしての価値を備えています。
