缪子预条件何时以及如何生效？结构化梯度噪声的作用

arXiv:2610.31728v1 发布类型：新 摘要：Muon 已成为大型语言模型训练中广受欢迎的优化器，但其理论基础仍缺乏深入理解。在本研究中，我们探讨了梯度噪声的几何结构如何影响 Muon 的预条件化优势。我们首先从理论与实验两方面证明，在经典的各向同性噪声假设下，Muon 仅能通过重新缩放学习率而带来加速效果，无法进一步提升性能。这一发现促使我们进一步考察由异构任务频率下的关联记忆中的小批量采样所引起的结构化噪声。我们为两类任务确定了一个精确的平衡阈值，并将分析扩展至多任务场景，揭示了任务覆盖率与梯度可靠性如何共同塑造学习过程。我们的分析表明，Muon 能够缓解……