TraceQuery：拡散言語モデルにおけるフルデノイズング軌跡から再計算すべき内容を学習する
arXiv:2610.33008v1 公告タイプ：新規 要旨：拡散型大規模言語モデル（dLLMs）は、反復的なマスク付きデノイズングによって柔軟な生成を実現する一方で、デノイズングの各ステップにおいてトークン表現を繰り返し再計算するため、推論コストが大幅に増加します。既存のキャッシュベースの手法では、デノイズングの各ステップ間で中間結果を再利用し、各ステップごとに固定スケジュールまたは変化を示すヒューリスティック信号に基づいて選択された一部の位置のみを再計算することで、このコストを低減しています。一方、我々の軌跡実験は、むしろデコード軌跡こそがより重要な指標であることを示唆しています。キャッシュによる生成は、完全なデノイズング軌跡に近い状態を維持している限り精度を保ち、誤差は主にマスク順序の逸脱に集中し、参照プレフィックスが長くなるほど減少することが明らかになりました。これにより…
