ミュオンのプリコンディショニングはいつ、どのように行われるのか？構造化された勾配ノイズの役割

arXiv:2610.31728v1 発表タイプ：新規 要旨：ミュオンは大規模言語モデルの学習において人気の最適化手法となっているが、その理論的基盤は依然として十分に解明されていない。本研究では、勾配ノイズの幾何学的構造がミュオンによる前処理効果にどのように寄与するかを検討する。まず、古典的な等方性ノイズ仮定の下では、ミュオンは学習率の再スケーリング以外に加速効果をもたらさないことを理論的および実証的に示す。これを受けて、私たちは異種タスクの発生頻度を持つ連想記憶におけるミニバッチサンプリングから生じる構造化されたノイズに着目し、二つのタスクに対する正確なバランス閾値を導出するとともに、多タスクへの拡張を行った。その結果、タスクのカバー率と勾配の信頼性が相互に作用して学習を形作ることを明らかにした。我々の分析によれば、ミュオンは…を緩和できることが示されている。