見出し・要約・本文から、情報のつながりを探します。
arXiv:2610.37796v1 発表タイプ：新規 要旨：近年の研究では、大規模な言語モデルが、単一の方向ではなく多次元の多様体として一部の概念を表現している可能性があると仮説されています。これらの多様体を用いて表現を解釈したり制御したりする際には、しばしば多様体上を移動することが、表現される概念の連続的な変化に対応すると想定されます。本研究では、この連続的な多様体の仮定を、典型的な平日の多様体に対して検証します。その目立つ円形の幾何学にもかかわらず、平日の表現は連続したリングというよりも、円状に配置された七つの離散的な状態に近い振る舞いを示すことが分かりました。まず、局所的感度に平日に対応する七つの極小値が存在し、多様体上の制御下での表現と行動の間には階段状の対応関係が生じることを示します。次に、w
arXiv:2610.36709v1 発表タイプ：新規 要旨：推論型言語モデルは、長い思考の連鎖を書き出すことで数学問題に解答し、問題ごとに多数の連鎖をサンプリングして多数決を取ることで、生成テキスト量が大幅に増えるというコストを伴いながら精度を向上させている。このコストを削減する一般的な手法として、モデルが各トークンを生成する際の信頼度に基づいて各連鎖をスコアリングする方法がある。ここでトークンとは、単語または単語の一部を指す。この手法では、2048トークンの移動平均を計算し、その平均値が最も低い連鎖を保持または停止する。私たちは、トークンごとに記録された信頼度を、音声やラジオにおける信号と同様の意味で捉え、スペクトル解析や急激な変化を検出する統計検定などの標準的な信号処理手法を用いてこの手法を評価した。私たちは、以下のデータセットから500問の各問題について16本の連鎖をサンプリングした。
arXiv:2610.31981v1 発表タイプ：新規 要旨：最も単純な非ユークリッド多様体である1次元平坦トーラスにおいて、データ分布からサンプルを押し離す速度場によって、リーマン幾何学的フローマッチングの最近提案された拡張手法が全局的に最適化される分布を示す。我々は、この失敗モードを「互換性」と呼ぶ性質に起因すると指摘する。尤度に基づくフローマッチング目的関数が互換的であるとは、その母集団最小化解がデータと結合によって誘導される周辺速度場を再現する場合をいう。我々は互換性に関する一般条件を提示し、それを既存の手法に適用した上で、互換性のもとで消滅する残差成分の観点から最悪ケースの誤差を評価する。さらに、既存の互換性を満たす目的関数は、コンパクト多様体上では実現不可能な速度に密度を付与してしまうことを指摘する。
arXiv:2610.31894v1 発表タイプ：新規 要旨：近年のスパースオートエンコーダ（SAE）は、大規模言語モデル（LLM）の表現を解釈可能な特徴量に分解し、符号化された知識の精密な読み出しと制御を可能にしています。しかし、既存のSAEでは各特徴量が独立した単位として扱われており、実世界の知識は多くの場合、階層的に分類されています。その結果、読み出しには分類学的な整合性が保証されず、制御においても編集の適用範囲を細かく指定する粒度が欠けています。そこで私たちは、is-a（上位語―下位語）関係に基づき、分類学的情報をSAEの特徴空間に明示的に符号化するTaxoSAEを提案します。TaxoSAEは、分類体系を模倣して各分類レベルごとに1つのSAEを配置し、さらに各概念が対象となる分類レベルで活性化されるよう学習させるための分類学的アライメント損失を導入します。
