2026년 10월 24일, ‘Mixing Matters: Evidence Position Bias Across Sequence Mixers in Long-Context Question Answering’라는 제목의 연구 논문이 arXiv 플랫폼에 게재되었으며(번호 2610.31135v1), 트랜스포머, 상태 공간 모델(state-space) 및 하이브리드 Mamba 아키텍처가 장문맥 질문 응답에서 답변 관련 증거의 위치에 대해 보이는 민감성의 차이를 체계적으로 분석하였다.
연구에서는 하나의 골드 문서를 고정된 아홉 개의 방해 문서로 구성된 문맥 속에서 비트 단위로 이동시키며, 각 아키텍처가 증거 위치 변화에 어떻게 반응하는지를 정량적으로 평가하였다. 그 결과, 평가 대상인 Transformer 모델들은 전반적으로 ‘시작 지점 우위’를 보여주었으며, 이는 답을 나타내는 증거가 프롬프트의 시작 부분에 가까울수록 성능이 더 우수함을 의미한다. 반면, 평가 대상 상태 공간 모델에서는 이러한 현상이 관찰되지 않았다. 다만 두 가지 아키텍처 모두 끝부분 근처의 증거에 대해 선호하는 경향을 보였다.
순수 Mamba와 혼합 Mamba 간의 대조 실험 결과는 동일한 추세를 보였으나 통계적 유의성이 부족했으며, 이러한 계열 간 차이는 기초 질문응답 과제를 수행할 수 있는 모델에서만 나타났다. 합성 검색 과제에서는 Transformer가 다시 한 번 우위를 드러냈지만, 상태 공간 모델이 성능 상한에 도달하여 가족 간의 유의미한 비교가 불가능했다. 또한, 동일한 상태 공간 아키텍처라도 언어 데이터셋을 변경하면 전체 정확도는 변하지만 위치-성능 곡선의 형태는 유지된다. 반면, 프롬프트 조정을 통해 초기 우위를 유도하거나 거의 완전히 제거할 수 있다.
연구는 또한 서로 다른 아키텍처 간에 응답 곡선이 상이하더라도, 증거 위치 정보는 아키텍처를 초월한 수준에서 여전히 해독될 수 있음을 밝혔다. 더불어 트랜스포머 계열에서는 주목(attention)이 초기 토큰에 집중되는 정도와 그 시작에 대한 민감성이 상호 연관되어 있음을 보여주었다. 저자들은 장문 컨텍스트의 효과적 활용이 아키텍처 유형, 모델 성능, 구체적 작업 및 프롬프트 설계 등 다수의 요인에 따라 달라지며, 시퀀스 믹서(sequence mixer) 자체만이 결정적인 요인이 아니라는 점을 강조했다.