TraceQuery:从扩散语言模型的完整去噪轨迹中学习哪些部分需要重新计算
arXiv:2610.33008v1 发布类型:新 摘要:扩散大型语言模型(dLLMs)通过迭代式掩码去噪实现灵活的生成,但由于在每一步去噪过程中都需要反复重新计算标记表示,因此带来了巨大的推理开销。现有的基于缓存的方法通过在各步去噪中复用中间结果,并且仅在每一步重新计算一部分位置来降低这一开销,这些位置要么按固定的时间间隔选择,要么依据变化的启发式信号确定。相比之下,我们的轨迹实验表明,解码轨迹才是更为相关的指标。当缓存生成的结果始终接近完整去噪轨迹时,其准确性依然较高;误差主要集中在未掩码顺序的偏差上,并且随着较长参考前缀的逐步恢复而逐渐减小。这表明


