2026年10月24日、arXivプラットフォームに『Mixing Matters: Evidence Position Bias Across Sequence Mixers in Long-Context Question Answering』という題名の研究論文が公開され（ID 2610.31135v1）、Transformer、状態空間モデル（state-space）、およびハイブリッドMambaアーキテクチャが長文コンテキストにおける質問応答において、回答に関連する証拠の位置に対する感受性にどのような差異を示すかが体系的に検討された。
本研究では、固定された9つの干渉文書から構成される文脈において、ゴールド文書をビット単位でスライドさせることにより、各アーキテクチャが証拠の位置変化に対して示す応答を定量化した。その結果、評価対象となったTransformerモデルは概ね「開始優位性」を示し、すなわち解答の証拠がプロンプトの冒頭に近いほど性能が向上する一方で、評価対象の状態空間モデルにはこの現象は見られなかった。ただし、両アーキテクチャともに、文末付近の証拠に対する好意的な反応を示していた。
純Mambaと混合Mambaの対照実験では、傾向は一致しているものの統計的有意性は不十分であり、このファミリー間の差異は基礎的な質問応答タスクを達成できるモデルにのみ見られる。合成検索タスクにおいては、Transformerが再び優位性を示す一方で、状態空間モデルは性能上限に達しているため、ファミリー間の有効な比較は行えない。さらに、同一の状態空間アーキテクチャであっても、学習データセットを変更すると全体的な精度は変化するものの、位置–性能曲線の形状には影響しない。一方で、プロンプトの調整によって初期優位性が生じたり、ほぼ消失したりする。
研究はまた、アーキテクチャの違いによって応答曲線が異なっても、証拠の位置情報はアーキテクチャ間で解読可能であることを示している。さらに、Transformerファミリーにおいては、注意力が初期トークンに集中する程度とその開始時点への感度には共変関係があることが明らかになった。著者らは、長文コンテキストの効果的な活用は、アーキテクチャの種類、モデルの能力、具体的なタスク、プロンプト設計など、複数の要因に依存しており、シーケンス・ミキサー自体が唯一の決定要因ではないと強調している。