「Meaning Contracts: Local Semantic Geometry in Large Language Models」と題する本論文は、2026年10月24日付でarXivに投稿され（番号2610.30715v1）、大規模言語モデルの埋め込み空間における意味的意義の局所的な幾何学的構造——すなわち、同一の意味因子が異なる実装においてどの部分で不変であり、どの部分で変化するのか、さらに意味が精緻化される際にどのように進化するのか——に焦点を当てている。
本研究では、二種類の制御型プローブを設計した。クロス言語プローブは言語切替を擾乱として用い、意味的完全一致、同一因子だが異なる実装、近接概念、および領域外比較を区別する。一方、細分化プローブは、特異的な意味の収束を担う表現と、高頻度の属性修飾や対抗的制御サンプルを区別する。両プローブとも、人間によるブラインド評価によって検証された。実験には、Gemma 4、Llama 3.2、Qwen 2.5、Pythiaという、アーキテクチャがそれぞれ異なる4つのデコーダー・オンリー型モデルを対象とした。
研究は強い一貫性を示している。平均池化のうえで支配的な分散方向を除去した後、文対は意味的関連性（同一因子→同一領域→異領域）に従って厳密に階層的に並べられ、重複はない。意味因子は不変の核心を中心に組織され、その外縁部では構造的な実装による特異な変異が見られる。意味の細分化は、より緊密な近傍への指向的なシフトを引き起こし、同じ基底名詞に基づいて構築された対照群をも凌駕する。文レベルおよび語レベルでの読み出し結果からは、相補的な幾何学的特性が明らかになる。前者は体積の収縮として現れ、後者はより鋭い異方性を持つ端点として表れる。
著者はこれに基づき、大規模言語モデルの意味表現は均一に分布しているわけではなく、局所的な異方性を有する近傍として組織されており、さらに意味は細分化の過程で収縮型の凝集を経ることを推論した。この結論は線形分離の仮定に依存せず、LLMの内在する意味構造を理解するための新たな幾何学的視点を提供するものである。