2026년 10월 24일, ‘A Reality Check of Inference-Time Context Augmentation Methods’라는 제목의 연구 논문이 arXiv에 게재되었으며(번호 2610.30983v1), 다섯 가지 추론 시 컨텍스트 증강 방법에 대해 체계적인 실증 평가를 수행하였다. 이들 방법은 입력에 정보가 없는 채우기 단어부터 상세한 컨텍스트 기술에 이르기까지 다양한 성격의 내용을 삽입함으로써, 대규모 언어 모델(LLM)이 주어진 맥락을 보다 효과적으로 활용할 수 있도록 하여 환각 현상이나 매개변수화된 지식에 대한 과도한 의존을 완화하려는 것을 목표로 한다.
연구에서는 문장 수준에서 다섯 가지 방법을 일곱 가지 서로 다른 규모의 LLM에 각각 적용하고, 세 개의 데이터셋에서 테스트를 수행하였다. 그 결과, 이른바 ‘정확도 향상’이 항상 안정적인 개선을 의미하는 것은 아니며, 종종 비정향적 교란의 산물임을 보여주었다—즉, 일부 예측이 의도치 않게 수정되는 반면, 원래 올바르던 다른 예측들은 오히려 와해되는 현상이 나타났다. 특히 삽입된 내용이 실질적인 정보 없이 계산 시간만 증가시키는 단순한 채움 단어일 경우, 이러한 현상은 더욱 두드러졌다.
추가적인 의미적 내용을 도입하지 않는 방법의 경우, 그 영향이 주로 모델의 결정 경계 근처에 있는 샘플들에 집중된다는 분석 결과는, 이 방법의 작동 메커니즘이 인지적 강화라기보다는 노이즈 교란에 더 가깝다는 점을 시사합니다. 이에 따라 논문은 다음과 같이 강조합니다: 이러한 방법을 실제 적용하기에 앞서, 평균 지표 향상에만 주목할 것이 아니라, 정확도 향상의 신뢰성(예: 안정성, 일반화 성능, 오류 패턴 등)에 대해 독립적인 검증을 반드시 수행해야 한다는 것입니다.