本文へ移動
AI NEWS JOURNAL
AI, IN PERSPECTIVE

AI ニュースを検索

見出し・要約・本文から、情報のつながりを探します。

公開日時順

スポークであり、リングではない:言語モデルにおける平日の多様体を再検討する

arXiv:2610.37796v1 発表タイプ:新規 要旨:近年の研究では、大規模な言語モデルが、単一の方向ではなく多次元の多様体として一部の概念を表現している可能性があると仮説されています。これらの多様体を用いて表現を解釈したり制御したりする際には、しばしば多様体上を移動することが、表現される概念の連続的な変化に対応すると想定されます。本研究では、この連続的な多様体の仮定を、典型的な平日の多様体に対して検証します。その目立つ円形の幾何学にもかかわらず、平日の表現は連続したリングというよりも、円状に配置された七つの離散的な状態に近い振る舞いを示すことが分かりました。まず、局所的感度に平日に対応する七つの極小値が存在し、多様体上の制御下での表現と行動の間には階段状の対応関係が生じることを示します。次に、w

経緯と関連報道

トークン信頼度は単なるチェーン長にすぎないのか?推論トレースに対する信号処理的検証

arXiv:2610.36709v1 発表タイプ:新規 要旨:推論型言語モデルは、長い思考の連鎖を書き出すことで数学問題に解答し、問題ごとに多数の連鎖をサンプリングして多数決を取ることで、生成テキスト量が大幅に増えるというコストを伴いながら精度を向上させている。このコストを削減する一般的な手法として、モデルが各トークンを生成する際の信頼度に基づいて各連鎖をスコアリングする方法がある。ここでトークンとは、単語または単語の一部を指す。この手法では、2048トークンの移動平均を計算し、その平均値が最も低い連鎖を保持または停止する。私たちは、トークンごとに記録された信頼度を、音声やラジオにおける信号と同様の意味で捉え、スペクトル解析や急激な変化を検出する統計検定などの標準的な信号処理手法を用いてこの手法を評価した。私たちは、以下のデータセットから500問の各問題について16本の連鎖をサンプリングした。

経緯と関連報道

多様体上のフローマッチングにおける互換性のある尤度

arXiv:2610.31981v1 発表タイプ:新規 要旨:最も単純な非ユークリッド多様体である1次元平坦トーラスにおいて、データ分布からサンプルを押し離す速度場によって、リーマン幾何学的フローマッチングの最近提案された拡張手法が全局的に最適化される分布を示す。我々は、この失敗モードを「互換性」と呼ぶ性質に起因すると指摘する。尤度に基づくフローマッチング目的関数が互換的であるとは、その母集団最小化解がデータと結合によって誘導される周辺速度場を再現する場合をいう。我々は互換性に関する一般条件を提示し、それを既存の手法に適用した上で、互換性のもとで消滅する残差成分の観点から最悪ケースの誤差を評価する。さらに、既存の互換性を満たす目的関数は、コンパクト多様体上では実現不可能な速度に密度を付与してしまうことを指摘する。

新闻源配图 · arXiv cs.LG
経緯と関連報道

LooseLeaf:計算ノートブック向けのサーバーレスGPUを実現

arXiv:2610.33275v1 発表タイプ:新規 要旨:計算ノートブックはセッション全体にわたってGPUを占有しますが、GPUが計算を行うのはセルが実行中であり、それ以外の時間はアイドル状態です。サーバーレス実行であれば、セル間でGPUを解放できますが、新しいワーカー上で蓄積されたノートブックの状態を再構築するには、各GPUセルごとに大きなコストが伴います。本論文では、対話型ノートブック向けのサーバーレスGPUプラットフォームであるLooseLeafを提案します。LooseLeafは、各セルの状態とインポートクロージャー、すなわちそのセルが必要とする最小限の変数やパッケージを導出します。5,000件の実世界のノートブックに対する分析から、これらのクロージャーは小さく、ユーザーによるセルの編集によって準備に要する時間は数秒程度であることが示されています。LooseLeafは、ユーザーがセルを編集している間に、これらのクロージャーを用いてGPUワーカーを準備します。実行後、ワーカーは…

新闻源配图 · arXiv cs.DC
経緯と関連報道

PhaseBreak:不正な画像から動画へのアニメーション生成に対する先制的時間的保護

arXiv:2610.33070v1 発表タイプ:新規 要旨:画像から動画へ(I2V)の拡散モデルは、単一のポートレートや写真をアニメーション化し、被写体の許可なしに共有された画像をモーション合成に再利用可能にします。私たちは、このような用途に対する先制的な視覚的保護を検討しています。すなわち、画像が公開される前に、所有者が共有ワークフローを維持しつつ、下流のモーション生成を妨害する制限付きの摂動を加えます。既存のスペクトル破壊手法は、時間的表現を全体的に減衰させるため、微妙な動きや空間的に局在した動きに対しては十分な制御が得られません。私たちの核心的なアイデアは、生成される動態が時間的特徴の強度だけでなく、特徴イベントの発生順序にも依存することです。そこで、我々はホワイトボックス型のスペクトルリタイミング保護手法であるPhaseBreakを提案します。

経緯と関連報道

改ざんされた機械学習:大規模言語モデルによる機械学習研究の評価

arXiv:2610.32114v1 公表タイプ:新規 要旨:AIアライメントの進展を加速する一つの手法は、アライメント研究そのものの一部を自動化することである。そのためには、研究提案における欠陥の特定や、提案された実験が意図した主張を支持するかどうかの評価といった、監督が困難な研究課題に対しても信頼性高く機能するシステムが必要となる。この能力を評価するため、我々はTampered MLを導入する。これは、公開されている機械学習論文から再構成された実験提案と、目的とした方法論的欠陥を導入した最小限に編集された対照案からなる、1,858組の項目ペアからなるベンチマークである。モデルは、提示順序に関わらず、より方法論的に妥当な提案を識別しなければならない。層化抽出サンプルに基づく人間による検証研究では、全体の86%が…

経緯と関連報道

TaxoSAE:分類学的論理によるスパースオートエンコーダの再考

arXiv:2610.31894v1 発表タイプ:新規 要旨:近年のスパースオートエンコーダ(SAE)は、大規模言語モデル(LLM)の表現を解釈可能な特徴量に分解し、符号化された知識の精密な読み出しと制御を可能にしています。しかし、既存のSAEでは各特徴量が独立した単位として扱われており、実世界の知識は多くの場合、階層的に分類されています。その結果、読み出しには分類学的な整合性が保証されず、制御においても編集の適用範囲を細かく指定する粒度が欠けています。そこで私たちは、is-a(上位語―下位語)関係に基づき、分類学的情報をSAEの特徴空間に明示的に符号化するTaxoSAEを提案します。TaxoSAEは、分類体系を模倣して各分類レベルごとに1つのSAEを配置し、さらに各概念が対象となる分類レベルで活性化されるよう学習させるための分類学的アライメント損失を導入します。

経緯と関連報道

PnP*:Perspective-n-Pointのための証明可能な解法

arXiv:2610.31797v1 発表タイプ:新規 要旨:3D–2D対応点からカメラ姿勢を推定するPerspective-n-Point問題は、コンピュータビジョンにおける最も基本的な課題の一つである。既存の手法は、最小問題を解くか、あるいは目的関数をより容易な形に置き換えるものに限られている。驚くべきことに、実際の最尤推定(MLE)に対してスケーラブルかつ証明可能な解法は存在しない。我々は、効率的な計算を保証し、証明可能な全局最適解を返す初の実用的な解法であるPnP*を提案する。さらに、我々は、中程度のノイズ条件下で基盤となる凸緩和が正確であることを証明しており、これはPnPのMLEに対するあらゆる緩和手法において、現時点で知られている唯一の安定性保証である。加えて、弦状疎結合構造と商環による簡約化を活用することで、緩和の次数を低減している。

PnP*: A certifiable solver for Perspective-n-Point
経緯と関連報道