要旨：近年の研究では、大規模言語モデルが特定の概念を単一の方向ではなく、多次元多様体として表現している可能性があると仮説されています。これらの多様体を用いて表現を解釈したり制御したりする際には、しばしば多様体上を移動することが、表現される概念の連続的な変化に対応すると想定されます。本研究では、典型的な平日多様体に対してこの連続的な多様体仮説を検証します。驚くべき円形の幾何学的構造にもかかわらず、平日の表現は連続的な環というよりも、円状に配置された七つの離散的な状態に近い挙動を示すことが分かりました。まず、局所的な感度が平日に対応する七つの極小値を持ち、多様体上の制御下での表現と行動の間には階段状の対応関係が存在することを示します。次に、七つの離散的な状態以外で多様体上に概念が表現されているかどうかを検証した結果、時間帯や不確実性、自然言語テキストといった要素はいずれも中間領域を埋めることはないと判明しました。これらの一連の結果は、平日多様体に対する連続的な解釈に疑問を投げかけ、他の表現多様体上での移動がモデルの表現や挙動に有意義な変化をもたらすのかを検証する必要性を示唆しています。
分野：| 機械学習（cs.LG）；人工知能（cs.AI） 引用：| arXiv:2610.37796 [cs.LG] | （または
arXiv:2610.37796v1 [cs.LG] このバージョン） | https://doi.org/10.48550/arXiv.2610.37796
詳しく学ぶためにフォーカス
DataCite経由のarXiv発行DOI
投稿履歴
論文へのアクセス：
PDFを表示
HTML（実験的）
TeXソース
追加機能
音声要約
現在の閲覧コンテキスト：
参考文献・引用
Google Scholar
Semantic Scholar
ブックマーク
機関
arXivLabsは、共同作業者が当社のウェブサイト上で新しいarXiv機能を直接開発・共有できるフレームワークです。
arXivLabsを利用する個人および組織は、オープン性、コミュニティ、卓越性、そしてユーザーデータのプライバシーという当社の価値観を積極的に受け入れ、尊重しています。arXivはこれらの価値観に固くコミットしており、それらを遵守するパートナーのみと協力しています。
arXivのコミュニティに価値をもたらすプロジェクトのアイデアをお持ちですか？arXivLabsについて詳しくご覧ください。