TraceQuery：从扩散语言模型的完整去噪轨迹中学习哪些部分需要重新计算
arXiv：2610.33008v1 发布类型：新 摘要：扩散大型语言模型（dLLMs）通过迭代式掩码去噪实现灵活的生成，但由于在每一步去噪过程中都需要反复重新计算标记表示，因此带来了巨大的推理开销。现有的基于缓存的方法通过在各步去噪中复用中间结果，并且仅在每一步重新计算一部分位置来降低这一开销，这些位置要么按固定的时间间隔选择，要么依据变化的启发式信号确定。相比之下，我们的轨迹实验表明，解码轨迹才是更为相关的指标。当缓存生成的结果始终接近完整去噪轨迹时，其准确性依然较高；误差主要集中在未掩码顺序的偏差上，并且随着较长参考前缀的逐步恢复而逐渐减小。这表明
