TraceQuery: 확산 언어 모델에서 완전한 디노이징 궤적을 기반으로 재계산할 내용을 학습하는 방법
arXiv:2610.33008v1 발표 유형: 신규 초록: 확산형 대규모 언어 모델(dLLMs)은 반복적인 마스킹 디노이즈를 통해 유연한 생성을 가능하게 하지만, 디노이즈 단계마다 토큰 표현을 여러 번 재계산해야 하므로 추론 비용이 상당히 발생합니다. 기존의 캐시 기반 방법들은 디노이즈 단계들 간에 중간 결과를 재사용하고, 각 단계에서 고정된 일정이나 변화를 나타내는 휴리스틱 신호에 따라 선택된 일부 위치만 다시 계산함으로써 이러한 비용을 줄입니다. 반면, 우리의 궤적 실험에서는 해독 궤적이 더 중요한 지표임을 보여줍니다. 캐시를 활용한 생성은 전체 디노이즈 궤적에 가까울 때 정확도가 유지되며, 오차는 주로 마스킹 순서의 변동 부근에 집중되고, 긴 참조 접두사가 복구될수록 감소합니다. 이는 제안…
