arXiv:2610.33008v1 発表タイプ：新規
要旨：拡散型大規模言語モデル（dLLMs）は、反復的なマスク付きデノイジングによって柔軟な生成を実現する一方で、デノイジングの各ステップにおいてトークン表現を繰り返し再計算するため、推論コストが大幅に増加する。既存のキャッシュベースの手法では、デノイジングの各ステップ間で中間結果を再利用し、各ステップごとに固定スケジュールまたは変化を示すヒューリスティック信号に基づいて選択された一部の位置のみを再計算することで、このコストを低減している。一方、我々の軌跡実験は、むしろデコードの軌跡こそがより重要な指標であることを示している。キャッシュによる生成は、完全なデノイジング軌跡に近い状態を維持している限り精度を保ち、誤差は主にマスク順序のずれに集中し、参照プレフィックスが長くなるほど減少する。これは、より直接的な原理を示唆している：表現エラーを抑えることも有効だが、生成を完全なデノイジング軌跡上に保つことが、正確なデコードへとつながるより直接的な道筋であるということだ。そこで我々は、効率的なdLLM推論を軌跡ガイド型クエリとして定式化した。表現エラーを広範に修正するのではなく、未解決の位置に対して限定的な新規計算を適用すべき箇所を、完全なデノイジング軌跡を用いて監視・指示する手法である。この定式化に基づき、我々はTRACEQUERYを提案する。TRACEQUERYは軽量なスパースデコードフレームワークであり、近未来の軌跡に関連する少数の位置を予測し、その候補にのみクエリを発行して、バックボーンが新たに得られた予測の中からどの位置を確定するかを選択させる。TRACEQUERYは、キャッシュベースの手法の中で最も優れた品質と計算量のトレードオフを実現し、新規トークン計算を大幅に削減しつつ高い精度を維持するとともに、タスクやモデルのバリエーション、さらにはモデルファミリーを問わず汎用的に適用可能である。コード：https://github.com/fish1928/tracequery.git