arXiv：2610.32122v1 公告类型：新
摘要：我们报告了现代文本嵌入模型中的一种系统性分离现象：情感信息几乎可以被其嵌入向量完美解码，却几乎完全无法从其度量空间中体现出来。在涵盖2021年至2026年的十一家冻结编码器中，包括2026年发布的模型以及4B参数的大型语言模型嵌入器Qwen3-Embedding-4B，线性探测器在句子极性分类任务上的准确率高达91.3%，而余弦相似度对极性的区分幅度仅为0.003至0.064。作为测试集中表现最强的探测器，Qwen3-Embedding-4B的探测准确率达到91.3%，但检索平均精度（MAP）却仅有64.3。由于检索、聚类、去重以及检索增强生成等任务均基于度量空间而非经过训练的探测器进行，这些系统实际上对其编码器明确包含的信息视而不见。一项任务条件控制实验表明，这种现象反映的是预训练目标，而非提示工程带来的偏差：将Jina-v5模型分别针对分类任务或检索任务进行条件化后，前者仅能恢复约一半由注入方法在同一权重上实现的MAP提升（63.2 vs. 73.8，而后者为85.1），且模型的对齐差距基本保持不变。情感注入式句子嵌入（SISE）通过在CPU上利用标注训练集，在数秒内为冻结编码器训练出一个小型（0.13M–0.69M参数）监督对比学习头部。该头部使自2022年以来发布的每一款编码器在全数据下的探测准确率（最高提升5.8个百分点）、检索MAP（最高提升26.0）以及极性区分幅度（7–61倍）方面均有所改善。这是一种专门化策略，而非无成本的增益：紧凑的128维头部在STS-B基准上会损失38–41个斯皮尔曼相关系数点，而将其与基础嵌入拼接的融合变体则会进一步损失2.4–12.0个点。配备该头部后，一个0.6B参数、128维的编码器在相同头部条件下，其检索MAP性能可与4B参数的编码器相媲美（91.8 vs. 90.3）。我们 发布一条CPU可复现的流水线以及一个可重用的诊断工具——属性对齐差距。