見出し・要約・本文から、情報のつながりを探します。
arXiv:2610.37881v1 発表タイプ：新規 要旨：ディープフェイク検出モデルは全体的な精度は高いものの、人口統計上の各グループ間で性能に大きな偏りが見られ、一部のグループでは他のグループに比べて偽陽性率が著しく高くなるという問題があります。既存の公平性を考慮した手法は、モデルの出力を制限してグループ間の予測結果を均等化することによってこの問題に対処していますが、根本的な特徴レベルのバイアスには対処していません。その結果、モデルは依然として肌の質感など、人口統計的特性を操作されたコンテンツを検出するための間接的な手がかりとして利用してしまう可能性があります。この問題を解決するために、我々は交差的不変学習（IIL）というフレームワークを提案します。これは、単にモデルの出力を調整するだけでなく、特徴学習自体を改善するものです。IILでは、最も困難な人口統計的区分を特定することを繰り返し行い
arXiv:2610.37680v1 発表タイプ：新規 要旨：フロンティアモデルと小型言語モデルの性能差を埋める手法としては、通常は蒸留が用いられます。すなわち、フロンティアモデル（教師）の出力に対して小型モデル（生徒）を微調整することで転移を行いますが、この方法では転移に必要な計算コストが伴う上、転移された知識はほとんど不透明なままです。そこで私たちは「アーティファクト蒸留」を提案します。これは、教師モデルが学習課題を解き、その問題解決手順を外部にアーカイブしておき、生徒モデルが推論時にそのアーカイブを参照するという手法です。これにより、勾配による更新は一切不要となります。LiveBenchの4つのタスクにおいて、Claude Opus 4.5が作成したアーカイブを用いることで、Claude Haiku 4.5は空間的推論において、コストを60％に抑えながら、無補助のClaude Sonnet 4.5を0.707対0.647で上回り、テーブル結合タスクではコストを89％に抑えた上でSonnet 4.5と同等の性能を達成しました。さらに、同じ生データのアーカイブを用いることで
arXiv:2610.36339v1 発表タイプ：新規 要旨：エキスパート並列型混合専門家（MoE）のサービスにおいて、ディスパッチは各トークンをその選択された専門家が配置されているアクセラレータへ送り、コンバインは各トークンの所有者に専門家の出力を集約して返します。これら両操作はクリティカルパス上に位置し、マルチノード環境ではMoE層のレイテンシを大きく左右します。本研究では、ディスパッチとコンバインをネットワークスイッチにオフロードし、さらに両コレクティブを相互に、および専門家計算と重ね合わせるエキスパート並列型MoE層であるINC-MoEを提案します。ディスパッチはスイッチ側のマルチキャストによるネットワーク内AllGatherを用い、コンバインはスイッチ側のリダクションによるネットワーク内ReduceScatterを用います。両コレクティブとも、エンドホストとスイッチ間でメッセージセマンティクスを利用します。なお、ネットワーク内コレクティブはそれぞれ逆方向に負荷をかけるため
arXiv:2610.36524v1 公告タイプ：新規 要旨：制御された記号入力は、自然言語による証拠から言語モデルの意思決定に影響を与える注意ヘッドを明らかにすることができるのか？我々は、制御された証拠集約（CEA）を提案する。これは、他の部分が固定されたプロンプトにおいて、二つの記号の出現回数と順序を変化させ、凍結されたトランスフォーマーが二つの回答トークンの間で示す選好の変化を測定する手法である。選好は両者のロジット差によって測定され、プロンプト自体には正解が指定されていない。バランスド・ユーティリティ・カウサル・セレクション（BUC）は、各ヘッドの出力を除去した際にカウント効果がどの程度消失するか、またカウント条件間で平均出力を補間することで両方向に効果がどの程度回復するかを同時に評価することにより、コンパクトなヘッド集合を特定する。さらに、ヘッドの帰属と介入との間に結びつく条件付き上限を導出する。
arXiv:2610.32101v1 発表タイプ：新規 要旨：大規模言語モデル（LLM）は、出力分布が既知の意味的なモードに集中する「モード崩壊」を示す。多様性が失われると、繰り返しサンプリングは発見ではなく意味的な反復となり、稀ではあるがより強力な解が表面化しにくくなるため、自己進化や継続的学習の維持が困難になる。ほとんどの対策は推論時のみに介入し、サンプルを調整するだけで、多様性をモデルの能力として組み込むことはできない。そこで私たちは、訓練時に多様性をモデル内部に内蔵するフレームワークであるPRISMを提案する。PRISMは、(i) 各プロンプトに対し、多様でありながら正解でもある複数の教師モデルによる解答を対応付けるサブモジュラー型キュレーションと、(ii) 特殊トークンの摂動を実行可能な形に変換する確率的埋め込み変調を組み合わせている。
arXiv:2610.33012v1 発表タイプ：新規 要旨：ツール利用を備えた大規模言語モデル（LLM）エージェントは、同一の状態から独立した実行を行った際、異なるツールを呼び出したり、矛盾する出力を生成したり、互いに異なる戦略を採用したりと、一貫性のない挙動を示します。この変動性は時間の経過とともに累積し、デプロイメントの信頼性を損ないます。既存の評価指標は主に完了ベースのスコアによってタスクの正しさを測定しており、実行間におけるエージェントの振る舞いの一致性を捉えられていません。一方で、エージェントの振る舞いは、確率分布を用いたトークンレベルでの分析や、意味クラスタリングによる単一応答レベルでの分析が行われていますが、いずれも軌跡上の将来のターンにわたって不一致がどのように伝播していくかを捉えることはできません。そこで私たちは、Recursive Semantic Divergence（RSD）という手法を提案します。これは未使用の…
arXiv:2610.33442v1 公開タイプ：新規 要旨：大規模言語モデル（LLMs）は、ハルシネーションや推論エラーを含む信頼性に関する問題に脆弱であると報告されています。既存の品質検出器は、内部表現に基づいて信頼性の低い出力をある程度の精度で予測できます。しかし、これらの検出器を訓練するには、多くの場合、特定分野に特化した大量のラベル付きデータが必要であり、そのため新たな分野への適用が制限されます。私たちは、この課題に対処するために、関連する複数の分野間で表現シグネチャーを転送することを提案します。具体的には、まず各分野ごとに低次元のシグネチャーを抽出し、次にクロスフィッティングを用いて、分野固有の予測器の組み合わせ重みを学習する統計的枠組みを構築します。この重みは、各ソース分野における予測の重要性に応じて適応していきます。
arXiv:2610.32305v1 発表タイプ：新規 要旨：多段階の分析タスクでは、LLMエージェントが次の行動を継続するか、転送するか、あるいは停止するかを判断するために、中間的な証拠を用いる必要があります。エージェントが自身の出力を批判する自己反省は広く研究されていますが、その批判だけでは、証拠が次の行動に影響を与えたかどうかを示すことはできません。私たちはこの能力を「自己抑制」と呼んでいます。既存のエージェントベンチマークの多くは、タスクの完了度や出力品質を測定するだけで、この点については未検証です。DMAIC-Benchは、リーン・シックスシグマの明示的な統計的要件に基づいて構築された、4つの産業分野における15の産業事例にわたる97の種付け済みタスクを用いて、この能力を評価します。対になる反事実的変種では、同じワークフロー上の同一位置で相反する行動を要求し、正当な抑制と無差別な停止を区別します。私たちは実行トレースを用いて評価を行います。
arXiv:2610.33062v1 発表タイプ：新規 要旨：統合型大規模マルチモーダルモデル（ULMM）は、テキストと画像の交互生成を通じて視覚推論を実行できるが、明示的な中間画像を生成するには多大な計算負荷が伴う。視覚ラテンシー推論はこの問題を解決するものの、既存の手法の多くは、視覚生成が不可能な視覚言語モデル（VLM）に依存している。そこで私たちは、ULMMにおけるラテンス視覚推論を可能にする新しいフレームワークであるOddinを提案する。Oddinでは、中間画像をコンパクトなラテントークンに置き換え、これらは理解ブランチのみで処理し、生成ブランチは最終的な出力画像の生成に専念させる。我々は、オフラインの自己蒸留手法を用いて、3つの目的——最終画像生成損失、テキスト蒸留損失、およびクロスエントロピー損失——に基づいてモデルを学習する。
arXiv:2610.31966v1 発表タイプ：新規 要旨：文脈内学習におけるデモンストレーションは、しばしば意味的類似性によって取得されるが、これは構造化予測における関連性を十分に反映しない場合がある。本研究では、POSシグネチャーに基づくポリシーを用いて、Universal Dependenciesの構文解析におけるデモンストレーション選択を検討した。このポリシーは文を重み付けされた品詞統計で表現し、ラベル付き訓練分割から長さが一致するゴールド解析済みの例を3つ取得する。我々は、微調整を行わないオープンウェイト言語モデル2種をUD English Web Treebankテストセットの全2,077文に対して評価し、ショット数やフォーマットが一致する固定および意味的3ショットベースライン、さらにゼロショット、チェーンオブソート、クリティック・リファインメントシステムと比較した。POSシグネチャーによる検索は、最も高いラベル付きアタ
arXiv:2610.31687v1 公告タイプ：新規 要旨：大規模言語モデルは、アンケート調査などにおいて、人間の行動をシミュレートし、分析するための手段としてますます広く利用されています。これらの用途において重要な特性は、出力が分布整合性を満たすことであり、すなわち、出力の分布をある参照（ここでは人間の）分布に一致させることです。分布整合性を実現する際の障壁の一つは、少量の学習データから一般化することです。本研究では、(1) 大規模言語モデルをどのように分布整合させるか、および (2) いったん整合された大規模言語モデルが、未見のサンプルや関連しないトピック・タスクに対してもどのように一般化できるかを検討しています。二つの大規模ベンチマークを用いて、大規模言語モデルは確かに分布整合性を達成でき、同一ドメイン内の未見の質問に対しても一般化可能であることを示しました。一方で、トピック間の一般化は、各トピック間の関係性に依存します（例えば、
arXiv:2610.31810v1 発表タイプ：新規 要旨：入念に校正された論文であっても、証明や明示された仮定に小さな抜けが残ることがあります。私たちはPaperFormalizerを提案します。これはLeanベースのエージェント型パイプラインで、著者が自らの論文におけるこうした隙間を見つけ出し、埋めることを支援し、各論文をLeanで検証済みのバージョンへと変換します。LaTeXソースから出発し、PaperFormalizerは論文を命題の依存関係グラフへと変換し、各命題について自然言語でその忠実性・曖昧さ・正確性を審査した後、Mathlibや任意の分野固有ライブラリ、さらには著者の個人的なツールキットと照らし合わせて、Lean上で形式化および証明を行います。ある命題が何を意図しているのか、また結果における形式化上のギャップをどのように修正するのが最適かを知るのは、あくまで著者だけです。そのため、このパイプラインは一時停止し、著者に問いかけるのです。
arXiv:2610.31911v1 発表タイプ：新規 要旨：大規模言語モデル（LLMs）がますます長いシーケンスを処理するにつれ、アテンションは主要な計算上のボトルネックとなっています。疎なアテンション手法は主に推論段階での利用を対象としていますが、多くの手法は依然として密集型で学習を行ったり、疎な学習に対応できなかったりします。さらに、その追加の複雑さにより、疎さを実際の実行時間の短縮へと結びつけることが難しく、結果として実用的には密集型アテンションが広く用いられています。本論文では、アテンションの学習は後方パスが支配的であるという観察に基づき、前方パスを完全に密集型に保ちつつ、後方パスを疎にするLazyFlashという手法を提案します。LazyFlashは前方パスを厳密に密集型に維持するため、学習済みモデルは従来の密集型モデルのままであり、vLLMなどの既存システムでも一切変更なしにサービス可能です。一方、後方パスについては、LazyFlashは勾配を…
