의미적으로 풍부하고, 측정적으로는 영향을 감지하지 못하는: 현대 텍스트 임베딩 모델의 기하학적 사각지대

arXiv:2610.32122v1 발표 유형: 신규 초록: 우리는 현대 텍스트 임베딩 모델들에서 체계적인 분리 현상을 보고합니다. 감정은 해당 임베딩으로부터 거의 완벽하게 복원될 수 있는 반면, 그 메트릭에서는 거의 전적으로 나타나지 않습니다. 2021년부터 2026년까지의 기간에 걸쳐 출시된 열한 개의 고정된 인코더를 대상으로 한 실험에서, 2026년 세대 모델들과 4B 파라미터 규모의 LLM 임베더 Qwen3-Embedding-4B를 포함하여, 선형 프로브는 문장의 극성을 최대 91.3%의 정확도로 복원하는 반면, 코사인 유사도는 극성 차이를 단지 0.003~0.064의 폭으로만 구분합니다. 패널 내에서 가장 강력한 프로브인 Qwen3-Embedding-4B는 91.3%의 프로브 정확도를 달성했지만, 검색 MAP는 64.3에 불과합니다. 검색, 클러스터링, 중복 제거 및 검색 증강 생성과 같은 작업들은 학습된 프로브가 아닌 메트릭을 기반으로 수행되므로, 이러한 시스템들은 정보에 대해 사실상 눈이 멀어 있습니다.