摘要：客户端漂移补偿方法能够缓解联邦学习（FL）中数据异构性带来的影响。尽管针对基于随机梯度下降（SGD）的联邦学习，漂移校正已得到较为深入的研究，但其与自适应客户端优化器之间的相互作用仍缺乏充分理解。诸如Adam等自适应优化器在每次更新时均基于过去梯度的运行平均值计算，因此仅对最终的更新方向进行校正，将无法改变这些运行平均值及其所包含的漂移。我们提出了一种名为“联邦自适应梯度校正”（{\tt FA-GC}）的方法，该方法在梯度进入这些运行平均值之前即对其进行校正；同时，我们还对比了另一种方法——“联邦自适应朴素跟踪”（{\tt FA-NT}），后者将校正叠加于最终的更新方向之上。实验表明，在一个理想化的、无梯度噪声的场景下，{\tt FA-GC} 所遵循的梯度方向仅在全局目标函数的驻点处趋于零，而 {\tt FA-NT} 所遵循的梯度方向则可能在优化器非线性的情况下于其他位置也趋于零。此外，我们还证明了 {\tt FA-GC} 对于Adam族方法、梯度归一化以及用于使矩阵更新正交化的Muon算法均具有收敛性。与我们针对 {\tt FA-NT} 得到的收敛性结果不同，上述结果中并未包含任何与客户端异构性相关的项。在七项图像与语言任务上，采用Adam优化器的 {\tt FA-GC} 平均所需轮次最少，能够达到目标精度；而在三项图像任务上，其总通信量亦低于未经校正的本地Adam及 {\tt FA-NT}。此外，在QNLI问题蕴含任务中，当使用SOAP方法并在旋转基下应用Adam，以及在强异构性条件下采用Muon算法时，{\tt FA-GC} 均能取得最高精度，而 {\tt FA-NT} 的表现则逊于未校正的优化器。
提交历史
访问论文：
查看PDF
HTML（实验性）
TeX源代码
附加功能
音频摘要
当前浏览上下文：
参考文献与引用
Google 学术搜索
Semantic Scholar
书签
机构
arXivLabs 是一个框架，允许合作者直接在我们的网站上开发并共享新的 arXiv 功能。
无论是个人还是与 arXivLabs 合作的组织，都已认同并践行我们所倡导的开放、社区、卓越以及用户数据隐私等价值观。arXiv 致力于这些价值理念，并且只与同样秉持这些理念的合作伙伴开展合作。
您是否有一个能为 arXiv 社区创造价值的项目构想？欢迎了解更多关于 arXivLabs 的信息。