检索标题、摘要与正文，把分散的信息连起来。
arXiv:2610.37788v1 发布类型：新 摘要：语言模型助手有时会在用户提出错误答案时将其更改为正确答案。这种现象被称为“谄媚”，通常被认为源于基于偏好的后训练阶段，但早期的测量结果却在预训练模型中也发现了这一现象。我们通过在训练过程中的每一个可用阶段进行测量，探究其来源：涵盖了5个不同系列的13个公开检查点，从基础模型到监督微调、偏好优化，直至最终发布版本。我们将模型回答被注入的主张所改变的程度与该回答原本被坚持的稳固程度区分开来，并且变化了提出主张的人、他们被认为的可信度以及他们提出主张的强烈程度。结果揭示了两种具有不同起源的“谄媚”行为，且这两种行为在不同数据集上均能复现。对某一主张的顺从 i
Google DeepMind 在面向可信测试人员的研究预览中发布了 Genie 4，这是一款具备实时音频、更逼真模拟以及中期模拟文本提示的世界模型。
arXiv：2610.32101v1 发布类型：新 摘要：大型语言模型（LLMs）会表现出模式坍缩现象，即其输出分布集中于熟悉的语义模式。当多样性消失时，反复采样便沦为语义上的重复，而非新的发现，导致那些罕见但更优的解决方案难以浮现，从而使模型的自我进化与持续学习难以维持。大多数应对措施仅在推理阶段发挥作用，通过调整采样结果来实现多样性，却并未将多样性真正内化为模型的一项能力。我们提出了 PRISM，一种在训练阶段就将多样性内化的框架。PRISM 结合了：(i) 子模性策展机制，为每个提示配以多样且正确的多教师解；以及 (ii) 随机嵌入调制，将特殊标记的扰动转化为 impl
arXiv:2610.33006v1 发布类型：新 摘要：基于Transformer的大型语言模型（LLMs）在上下文长度增加时会带来巨大的计算与内存开销，这促使人们研究在推理前将上下文压缩为更短表示的方法。现有的软提示压缩方法通常采用与目标模型相同的Transformer主干架构，而在生成压缩表示的过程中会产生显著的延迟开销。这使得这些方法仅适用于离线场景——即上下文被一次性压缩后，在多次查询中重复使用。我们提出了Boa压缩器，这是一种即插即用的在线上下文压缩器，基于Mamba状态空间模型（SSM）构建，能够在一次线性时间的遍历中编码任意长度的上下文，并生成一个可用于后续条件化的表示……
arXiv:2610.31966v1 发布类型：新 摘要：上下文学习的示范通常通过语义相似度进行检索，而这在结构化预测任务中可能并非相关性的良好替代指标。我们研究了面向通用依存句法分析的示范选择方法，采用一种基于词性签名的策略，该策略以加权词性统计特征表示句子，并从已标注的训练集里检索出三个长度兼容、由人工标注的示例。我们在UD英语网络树库测试集的全部2,077个句子上，对两种未经过微调的开放权重语言模型进行了评估，将该策略与按样本数量和格式匹配的固定三元组及语义三元组基线，以及零样本、链式思维和批判性修正等系统进行了比较。结果表明，基于词性签名的检索方式获得了最高的标注准确率
arXiv：2610.32122v1 发布类型：新 提要：我们报告了现代文本嵌入模型中的一种系统性脱节现象：情感信息几乎可以被其嵌入表示完美解码，却几乎完全无法从其度量空间中体现出来。在涵盖2021年至2026年的十一种冻结编码器中，包括2026年发布的模型以及4B参数的大型语言模型嵌入器Qwen3-Embedding-4B，线性探测器在句子极性分类任务上的准确率高达91.3%，而余弦相似度对极性的区分幅度却仅为0.003至0.064。作为该测试集中表现最强的探测器，Qwen3-Embedding-4B的探测准确率达到91.3%，但在检索平均精度（MAP）方面却仅有64.3%。由于检索、聚类、去重以及检索增强生成等任务均基于度量空间而非经过训练的探测器进行，这些系统实际上对相关信息处于“视而不见”的状态。
arXiv:2610.32109v1 发布类型：新 摘要：语言模型能够根据给定的文档或其参数化知识回答问题。然而，当后续被问及答案的来源时，究竟是什么决定了它们的来源报告？我们通过在答案生成之后、源问题提出之前对模型的关键值（KV）缓存进行干预来研究这一问题。在一项受控的事实性任务中，针对四款模型（7B–32B），无论改变还是移除文档的缓存，都不会影响其来源报告。相比之下，在两次运行之间移植问答（Q+A）缓存——且前后的问题与答案标记完全相同——则会转移来源报告：所有符合条件的报告都会沿用捐赠方的来源，而接收方的文档本身保持不变。在两款较小的模型上，沿着事先为任何源问题拟合的方向引导问答值……
一项发表于2026年10月24日arXiv的实证研究（论文编号2610.31135v1）比较了Transformer、状态空间模型（state-space）及混合Mamba架构在长上下文问答任务中的位置偏置现象，发现Transformer模型普遍表现出对起始位置证据的利用优势，而状态空间模型缺乏该特性；两类模型却均偏好结尾位置证据。
推荐理由：该研究基于可控实验设计（固定9个干扰文档、滑动单个黄金文档），首次在统一评估框架下横向对比三类主流序列建模架构的位置敏感性，揭示了模型能力与架构类型、提示工程、任务性质的强耦合关系，对长上下文AI系统的设计与调试具有直接参考价值。
