跳到正文
AI NEWS JOURNAL
arXiv cs.CLAI NEWS / JOURNAL

研究揭示大语言模型中语义意义的局部几何结构

一篇于2026年10月24日发布在arXiv的论文(编号2610.30715v1)通过跨语言探针与细化探针,在Gemma 4、Llama 3.2、Qwen 2.5和Pythia四款解码器-only大语言模型上刻画了语义意义在嵌入空间中的局部几何特性。

这篇题为《Meaning Contracts: Local Semantic Geometry in Large Language Models》的论文于2026年10月24日提交至arXiv(编号2610.30715v1),聚焦大语言模型嵌入空间中语义意义的局部几何结构——即同一语义因子在不同实现中何者恒定、何者变化、以及语义细化时如何演化。

研究设计两类受控探针:跨语言探针将语言切换作为扰动,区分语义完全匹配、同因子不同实现、邻近概念及域外对比;细化探针则区分承载特异性语义收窄的表达与高频属性修饰或对抗性控制样本。两项探针均经人类盲评验证。实验覆盖Gemma 4、Llama 3.2、Qwen 2.5和Pythia四款架构各异的解码器-only模型。

研究发现具强一致性:在均值池化并去除主导方差方向后,句对按语义相关性(同因子→同领域→跨领域)严格分层排列,无重叠;语义因子围绕一个不变核心组织,外围呈现结构化实现特异性变异;语义细化引发朝更紧密邻域的定向位移,甚至超越基于相同基名词构建的控制组;句级与词级读出揭示互补几何:前者表现为体积收缩,后者呈现更尖锐的各向异性端点。

作者据此推断:大语言模型的语义表征并非均匀分布,而是组织为局部各向异性邻域,且语义在细化过程中发生收缩式凝聚。该结论不依赖线性可分假设,为理解LLM内在语义结构提供了新几何视角。

资料来源

arXiv cs.CL

相关主题

← 继续阅读全部动态