‘Compiling Autoregressive LLM Control into Policy-Exact Parallel Inference for Hierarchical RAG’라는 제목의 연구 논문이 2026년 10월 24일 arXiv에 게재되었으며(논문 번호 2610.30664v1), 계층형 검색 증강 생성(Hierarchical RAG)에서 대규모 언어 모델(LLM)의 자회귀 제어 로직을 정책 정확성(policy-exact)을 갖는 병렬 추론으로 컴파일하는 새로운 방법을 제시한다.
이 방법은 JSON 출력과 같은 전통적인 직렬 문법 제약 생성 방식을 배제하고, 대신 얕은 동작 접두사 트리를 구축합니다. 한 번의 루트 사전 채우기(root prefill)와 한 번의 트리 인과 탐침(tree-causal probe)을 통해 모든 접두사 조건 하에서의 동작 분포를 평가하며, ‘접두사 상태 보조정리’(prefix-state lemma)를 활용해 정확한 산술 하에서 정책 등가성을 보장합니다—즉, 직렬 디코딩과 완전히 동일한 제어 정책을 얻되, 단 두 단계의 순방향 전파와 출력 토큰 제로만으로 가능합니다. 또한 또 다른 탐침 과정을 통해 정확한 순서-마진화된 최대우도 추정(order-marginalized MAP) 집합을 검증할 수 있습니다.
실험은 네 가지 문서 상호배제 데이터셋 분할 및 두 가지 규모에서 주요 장치인 MetaX에서 수행되어 평가를 완료하였다. 컴파일 제어는 84–89%의 문제에서 순차 정책과 일치하며, 모든 편차는 부동소수점 연산의 근사적 동등성 상황에서 발생한다. 제어 지연은 토큰 하나씩 순차적으로 디코딩하는 방식에 비해 35–47% 감소했으며, 이상적인 블록화 엔진에 비해서도 6–7% 감소했다. H800 장치에서의 반복 실험을 통해 결과의 정렬 일관성이 유지됨이 확인되었다.