“Meaning Contracts: Local Semantic Geometry in Large Language Models”라는 제목의 이 논문은 2026년 10월 24일에 arXiv에 제출되었으며(번호 2610.30715v1), 대규모 언어 모델의 임베딩 공간에서의 의미적 의미의 국부적 기하학적 구조—즉, 동일한 의미 요인이 서로 다른 구현에서 어떤 부분에서는 변하지 않고 어떤 부분에서는 변화하며, 의미가 세분화될 때 어떻게 진화하는지—에 초점을 맞추고 있다.
본 연구는 두 가지 유형의 통제된 탐침을 설계하였다: 언어 간 탐침은 언어 전환을 외란으로 삼아 의미적 완전 일치, 동일 요인의 상이한 구현, 인접 개념 및 영역 외 비교를 구분하며, 세부화된 탐침은 특수한 의미적 수렴을 담는 표현과 고빈도 속성 수정 또는 대립적 통제 표본을 구분한다. 두 가지 탐침 모두 인간의 맹검 평가를 통해 검증되었다. 실험은 Gemma 4, Llama 3.2, Qwen 2.5 및 Pythia 등 아키텍처가 서로 다른 네 가지 디코더-온리 모델을 포괄한다.
연구 결과는 강한 일관성을 보여준다: 평균 풀링 후 지배적 분산 방향을 제거한 뒤, 문장 쌍은 의미적 관련성에 따라(동일 요인 → 동일 분야 → 타 분야) 엄격히 계층적으로 배열되며 중복이 없다. 의미적 요인들은 변하지 않는 핵심을 중심으로 조직되며, 외곽에서는 구조화된 형태로 특수한 변이가 나타난다. 의미의 세분화는 더욱 밀접한 이웃 영역으로의 정형화된 이동을 유도하며, 심지어 동일한 기저 명사에 기반해 구성된 대조군을 넘어선다. 문장 수준과 단어 수준의 출력은 상호 보완적인 기하학적 특징을 드러낸다: 전자는 체적 수축으로 나타나고, 후자는 보다 날카로운 각방향성의 끝점을 보여준다.
저자는 이를 바탕으로 다음과 같이 추론한다: 대형 언어 모델의 의미 표현은 균일하게 분포되어 있지 않고, 오히려 국부적 비등방성 이웃 영역으로 구성되며, 의미는 세분화 과정에서 수축적인 응집을 겪는다. 이러한 결론은 선형 분리 가설에 의존하지 않으며, LLM의 내재된 의미 구조를 이해하는 데 새로운 기하학적 관점을 제공한다.