見出し・要約・本文から、情報のつながりを探します。
arXiv:2610.36524v1 公告タイプ：新規 要旨：制御された記号入力は、自然言語による証拠から言語モデルの意思決定に影響を与える注意ヘッドを明らかにすることができるのか？我々は、制御された証拠集約（CEA）を提案する。これは、他の部分が固定されたプロンプトにおいて、二つの記号の出現回数と順序を変化させ、凍結されたトランスフォーマーが二つの回答トークンの間で示す選好の変化を測定する手法である。選好は両者のロジット差によって測定され、プロンプト自体には正解が指定されていない。バランスド・ユーティリティ・カウサル・セレクション（BUC）は、各ヘッドの出力を除去した際にカウント効果がどの程度消失するか、またカウント条件間で平均出力を補間することで両方向に効果がどの程度回復するかを同時に評価することにより、コンパクトなヘッド集合を特定する。さらに、ヘッドの帰属と介入との間に結びつく条件付き上限を導出する。
arXiv:2610.36668v1 公告タイプ：新規 要旨：アッシュの同調実験は、近年、大型言語モデル（LLMs）における同調性を測定する手法として大きな注目を集めています。これまでの研究では、主に大型言語モデルにおける同調性の実証に焦点が当てられてきましたが、本研究ではこのアプローチにさらに定量的な視点を加えています。具体的には、フロンティアの大型言語モデルに対して一連の質問を提示してサンプリングを行うのではなく、単一の質問を繰り返しサンプリングし、大型言語モデルの確率的特性を活用して回答の分布を生成します。これにより、モデルに人工的に作られたコンセンサスを提示する前後の回答分布を比較することが可能となります。実験の結果、フロンティアの大型言語モデルが実際に同調性を示すことを確認し、先行研究を裏付けるとともに、分布間の比較を通じて新たな知見を提供しています。
arXiv:2610.34907v1 発表タイプ：新規 要旨：NVIDIA Hopperで導入されたテンソルメモリアクセラレータ（TMA）は、実運用のGPUカーネルにおいて広く用いられているにもかかわらず、その使用状況は極めて選択的である。CUTLASS、FlashAttention-3、FlashInferなどの専門的なカーネル開発者たちは、カーネル内の一部のテンソルオペランドに対してTMAを適用する一方で、他のオペランドについてはcp.asyncや直接グローバルロード、あるいは分散共有メモリ（DSM）に回帰している。ベンダーのドキュメントではAPIが説明され、最近のマイクロベンチマークによる研究ではTMAのスループットが単独で評価されているが、実際の実務者が直面する問いにはいずれも答えられていない。すなわち、カーネル内で特定のメモリオペランドが存在する場合、それをTMAで処理すべきなのか、また、もしTMAを使うならクラスタマルチキャストを併用すべきか否かという問題である。本研究では、H100を対象としたワークロードに基づく特性評価を通じて、このギャップに取り組む。我々はTMAの利用状況を体系的に整理し、多
arXiv:2610.32104v1 発表タイプ：新規 要旨：トランスフォーマー アーキテクチャの能力と限界を特徴付けるため、複数の形式理論が提案されており、それぞれがアーキテクチャの異なる側面を捉えるために異なる抽象化手法を用いている。これらの理論は、その基礎となる仮定や概念的枠組みに違いがあるため、トランスフォーマーにとってどのタスクが容易でどのタスクが困難かという予測において一致しないことがある。本研究では、トランスフォーマーの能力に関する7つの理論（Star-free、$\mathsf{AC}^0$、$\mathsf{TC}^0$、C-RASP、MPC、BAPO、および Sensitivity）を整理し、それらの結果を、異なる計算構造を網羅する一連のタスクに対する共通の予測マトリックスへと変換した。さらに、このマトリックスを完成させるための新たな理論的成果を提示する。その後、理論的な評価を行った
arXiv:2610.31765v1 発表タイプ：新規 要旨：単一の参照ビデオから動的シーンの複数の映像を生成するには、視点間で観測された内容と未観測の内容を一貫して合成する必要があります。既存のビデオ拡散におけるカメラ制御手法は、通常、カメラ埋め込み、クロスビュー注意機構、幾何学的条件付けといったアーキテクチャ上の仕組みに依存しています。しかし、これらの手法は静的なシーンコンテンツに対しては有効であっても、視点間および時間経過において一貫性が求められる細部にわたる動的ジオメトリにはしばしば対応しきれません。我々は、各2次元画像平面で独立にサンプリングを行うのではなく、ソースビデオから導かれる標準的な3次元空間においてガウスノイズの事前分布をサンプリングし、それをターゲットとなるカメラへラスタライズすることで、拡散プロセス自体を同期させます。我々のm
arXiv:2610.31911v1 発表タイプ：新規 要旨：大規模言語モデル（LLMs）がますます長いシーケンスを処理するにつれ、アテンションは主要な計算上のボトルネックとなっています。疎なアテンション手法は主に推論段階での利用を対象としていますが、多くの手法は依然として密集型で学習を行ったり、疎な学習に対応できなかったりします。さらに、その追加の複雑さにより、疎さを実際の実行時間の短縮へと結びつけることが難しく、結果として実用的には密集型アテンションが広く用いられています。本論文では、アテンションの学習は後方パスが支配的であるという観察に基づき、前方パスを完全に密集型に保ちつつ、後方パスを疎にするLazyFlashという手法を提案します。LazyFlashは前方パスを厳密に密集型に維持するため、学習済みモデルは従来の密集型モデルのままであり、vLLMなどの既存システムでも一切変更なしにサービス可能です。一方、後方パスについては、LazyFlashは勾配を…
arXiv:2610.30296v1 発表タイプ：新規 要旨：大規模言語モデル（LLMs）は、低資源言語および多言語NLPに関する研究を加速させてきたが、公平な研究環境の実現にどの程度寄与しているかについては未だ明らかになっていない。本研究では、2020年から2025年にかけて公開された査読付きオープンアクセス論文1,158件を対象に、低資源言語（LRLs）への研究関心や、言語・話者集団間の代表性を分析した。出版数以外の観点から言語的包摂を評価するため、研究成長、代表性拡充、代表性継続性、分布的公正性の4つの次元で言語的包摂を測定する多次元フレームワーク「言語的包摂フレームワーク（LIF）」を提案する。年間の論文数は52件から415件へと5.4倍に増加した一方で、ACLアンソロジーにおける
