요약: 클라이언트 드리프트 보상 방법은 연합학습(FL)에서 데이터 이질성의 영향을 완화합니다. 확률적 경사하강법(SGD) 기반 FL에서는 드리프트 보정이 잘 연구되어 왔지만, 적응형 클라이언트 최적화 알고리즘과의 상호작용에 대해서는 아직 충분히 이해되지 않았습니다. Adam과 같은 적응형 최적화 알고리즘은 과거 경사의 이동평균을 기반으로 각 업데이트를 구성하므로, 최종 업데이트 방향만을 보정하면 이러한 이동평균과 그 안에 포함된 드리프트는 그대로 유지됩니다. 우리는 이러한 이동평균에 들어가기 전에 각 경사를 보정하는 연합 적응형 경사 보정({\tt FA-GC})을 제안하고, 이를 최종 방향에 보정을 추가하는 연합 적응형 단순 추적({\tt FA-NT})과 비교합니다. 우리는 경사 노이즈가 없는 이상적인 환경에서, FA-GC가 따르는 방향은 글로벌 목적함수의 정류점에서만 소멸되며, 반면 FA-NT가 따르는 방향은 최적화 알고리즘이 비선형일 경우 다른 지점에서도 소멸될 수 있음을 보여줍니다. 또한 우리는 Adam 계열 알고리즘, 경사 정규화, 그리고 행렬 업데이트를 직교화하는 Muon에 대해 FA-GC의 수렴성을 증명했습니다. FA-NT에 대한 우리의 결과와 달리, 이러한 결과에는 클라이언트 이질성에 관한 항이 포함되지 않습니다. 일곱 가지 이미지 및 언어 작업에서, Adam을 사용한 FA-GC는 목표 정확도에 도달하는 데 평균적으로 가장 적은 회차를 필요로 하며, 세 가지 이미지 작업에서는 미보정 로컬 Adam 및 FA-NT보다 총 통신량도 더 적습니다. SOAP을 적용한 QNLI 질문-연관성 작업과 강한 이질성이 존재하는 환경에서 Muon을 사용할 때에도, FA-GC는 가장 높은 정확도를 제공하는 반면 FA-NT는 미보정 최적화 알고리즘보다도 낮은 성능을 보입니다.
투고 이력
논문 보기:
PDF 보기
HTML(실험적)
TeX 소스
추가 기능
오디오 요약
현재 탐색 컨텍스트:
참고문헌 및 인용
Google 학술검색
Semantic Scholar
북마크
기관
arXivLabs는 협력자가 당사 웹사이트에서 새로운 arXiv 기능을 직접 개발하고 공유할 수 있도록 하는 프레임워크입니다.
arXivLabs와 함께 일하는 개인과 조직 모두는 개방성, 커뮤니티, 우수성, 그리고 사용자 데이터 개인정보 보호라는 당사의 가치를 수용하고 받아들였습니다. arXiv은 이러한 가치에 헌신하며, 이에 부합하는 파트너들과만 협력합니다.
arXiv 커뮤니티에 가치를 더할 프로젝트 아이디어가 있으신가요? arXivLabs에 대해 자세히 알아보세요.