AI 自动翻译
arXiv：2610.33008v1 发布类型：新
摘要：扩散型大语言模型（dLLMs）通过迭代式的掩码去噪机制实现灵活的生成，但由于在每一步去噪过程中都需要反复重新计算token表示，因此带来了巨大的推理开销。现有的基于缓存的方法通过在各步去噪中复用中间结果，并仅在每一步按固定周期或依据变化的启发式信号重新计算部分位置，从而降低了这一开销。然而，我们的轨迹实验表明，解码轨迹才是更为关键的衡量指标。当缓存生成轨迹与全去噪轨迹保持接近时，其准确性依然较高；误差主要集中在未掩码顺序的偏差上，并且随着较长参考前缀的逐步恢复而逐渐减小。这提示我们一个更直接的原则：控制表示误差固然重要，但将生成过程始终维持在全去噪轨迹上，才是实现高精度解码的更有效途径。因此，我们将高效的dLLM推理问题表述为轨迹引导的查询。与其广泛地修复表示误差，我们利用全去噪轨迹来指导哪些尚未解决的位置应当接受有限的重新计算。基于这一思路，我们提出了TRACEQUERY——一种轻量级的稀疏解码框架，它能够预测一小部分与未来轨迹相关的候选位置，仅对这些候选进行查询，并由主干网络从其新鲜预测中选择最终提交的结果。TRACEQUERY在基于缓存的方法中实现了最优的质量—计算权衡，在显著减少新鲜token计算次数的同时仍能保持较高的准确性，并且具有跨任务、模型变种及模型族的泛化能力。代码：https://github.com/fish1928/tracequery.git