초록: 현대 GPU 기반 데이터센터의 계산 성능이 지속적으로 향상됨에 따라, 일부 산업 대기업들은 방대한 양의 데이터를 활용해 대규모 언어 모델(LLM)을 학습하고 배포할 수 있게 되었다. 그러나 이러한 모델과 그 학습 데이터의 엄청난 규모는 중앙 집중식 개발을 점점 더 유지하기 어렵게 만들며, 동시에 관련된 민간 데이터를 보유하되 이에 상응하는 인프라를 갖추지 못한 소규모 기관들을 배제하게 한다. 본 논문에서는 분산형 LLM 학습에 관한 우리의 입장을 사전 학습 및 미세조정 패러다임을 중심으로 정리하고, 연합학습, 분할학습, 그리고 탈중앙화 접근법을 다루며, 이들이 이질적인 하드웨어와 신뢰성 낮은 네트워크 연결을 갖춘 지리적으로 분산된 환경에서 어느 정도 준비되어 있는지를 평가한다. 이어 우리는 클라우드 기반 파라미터 서버를 핵심으로 하는 {\em 통합} 시스템 아키텍처를 제시하며, 이 서버는 외부 gRPC 연결을 통해 이질적인 클라이언트들을 조율하고, 사전 학습과 다양한 미세조정 방법군 모두에 동일한 통신·압축·장애허용 스택을 재사용한다. 우리는 GPT-2 Medium과 Llama3-1B의 사전 학습을 여러 대학 캠퍼스 간에 수행한 실제 지리적 분산 실험을 통해 해당 설계를 검증하였으며, 현실적인 환경에서도 안정적인 수렴을 확인하였다. 마지막으로, 우리는 앞으로의 발전 방향을 제시하고, 선도적인 모델 지원, 탄력적 장애허용, 적응형 압축, 연합 정렬, 개인정보 보호와 신뢰, 인센티브 설계, 시스템–알고리즘 협동 설계 등 광범위한 분야에 걸쳐 해결해야 할 미해결 과제들을 도출한다. 이 모든 문제들이 해결되어야만 대중화된 LLM 학습이 실현될 수 있을 것이다.
투고 이력
논문 보기:
PDF 보기
HTML(실험적)
TeX 소스
추가 기능
오디오 요약
현재 탐색 컨텍스트:
참고문헌 및 인용
Google 학술검색
Semantic Scholar
북마크
기관
arXivLabs는 협력자가 당사 웹사이트에서 새로운 arXiv 기능을 직접 개발하고 공유할 수 있도록 하는 프레임워크입니다.
arXivLabs와 함께 일하는 개인과 조직 모두는 개방성, 커뮤니티, 우수성, 그리고 사용자 데이터 개인정보 보호라는 당사의 가치를 수용하고 받아들였습니다. arXiv은 이러한 가치에 헌신하며, 이에 부합하는 파트너들과만 협력합니다.
arXiv 커뮤니티에 가치를 더할 프로젝트 아이디어가 있으신가요? arXivLabs에 대해 자세히 알아보세요.