2026年10月24日，一篇题为《Mixing Matters: Evidence Position Bias Across Sequence Mixers in Long-Context Question Answering》的研究论文在arXiv平台发布（编号2610.31135v1），系统考察了Transformer、状态空间模型（state-space）及混合Mamba架构在长上下文问答中对答案相关证据位置的敏感性差异。
研究通过将一个黄金文档在固定九个干扰文档构成的上下文中逐位滑动，量化各架构对证据位置变化的响应。结果表明：被评测的Transformer模型普遍展现出‘起始优势’——即当答案证据靠近提示（prompt）开头时性能更优，而被评测的状态空间模型未呈现此现象；但两类架构均表现出对结尾附近证据的偏好。
纯Mamba与混合Mamba的对照实验趋势一致，但统计显著性不足；该家族差异仅出现在能完成基础问答任务的模型中。在合成检索任务中，Transformer再次显现优势，但因状态空间模型触及性能上限，无法进行有效家族间比较。此外，同一状态空间架构更换语料库会改变整体准确率，却不改变位置-性能曲线形态；提示词调整则可引入或几乎消除起始优势。
研究还发现，尽管不同架构的响应曲线各异，证据位置信息仍可在跨架构层面被解码；且在Transformer家族中，注意力对初始token的集中程度与其起始敏感性呈协变关系。作者强调，长上下文的有效利用取决于架构类型、模型能力、具体任务和提示设计等多重因素，序列混洗器（sequence mixer）本身并非唯一决定性因素。