요약: 전문가 병렬 혼합-전문가(MoE) 서비스에서 디스패치는 토큰을 해당 토큰이 선택한 전문가를 호스팅하는 가속기로 이동시키고, 결합은 각 토큰의 소유자에게 전문가 출력을 다시 집계합니다. 두 작업 모두 핵심 경로에 위치하며, 다노드 배포 환경에서는 MoE 계층의 지연 시간을 주도할 수 있습니다. 우리는 디스패치와 결합을 네트워크 스위치로 오프로드하고, 두 집단 연산을 서로 및 전문가 계산과 겹치게 하는 전문가 병렬 MoE 계층인 INC-MoE를 제안합니다. 디스패치는 스위치 측 멀티캐스트를 통해 인네트워크 AllGather를 사용하고, 결합은 스위치 측 감축을 통해 인네트워크 ReduceScatter를 사용합니다. 두 집단 연산 모두 최종 호스트와 스위치 간의 메시지 세미틱을 활용합니다. 인네트워크 집단 연산이 각 링크의 반대 방향으로 로드되기 때문에, 이를 동시에 수행하면 동기식 링 기반 집단 연산에 비해 대역폭 제한 통신 시간을 $(N-2)/(2(N-1))$만큼 단축할 수 있습니다: 4개 랭크에서는 33%, 8개 랭크에서는 43%의 절감 효과를 얻습니다.
INC-MoE는 토큰을 밴드로 분할한 뒤, 단일 영구 커널 내에서 3단계로 구성된 AllGather–Feed-Forward Network(FFN)–ReduceScatter 파이프라인을 통해 처리합니다. 정상 상태에서는 역할별로 특화된 스레드 블록들이 다음 밴드를 수집하고 현재 밴드를 계산하며 이전 밴드를 동시에 축약하는 작업을 수행하여, 장치 측 동기화를 활용해 두 집합 연산과 계산 작업을 서로 겹치도록 합니다. INC-MoE는 vLLM의 MoE 레이어를 그대로 대체할 수 있는 즉시 적용 가능한 형태로 통합됩니다. 우리는 네트워크 내 컴퓨팅(INC) 스위치를 에뮬레이션한 전용 가속기를 사용한, 네 노드 규모의 확장형 배포 환경에서 이를 평가했습니다. OLMoE의 프리필 단계에서 4웨이 전문가 병렬성을 적용했을 때, INC-MoE는 vLLM의 기본 집합 경로에 비해 최대 33%의 최초 토큰 처리 시간(TTFT) 절감과 최대 50%의 처리량 증가를 달성하면서도 출력 결과는 동일하게 유지했습니다.
투고 이력
논문 보기:
PDF 보기
HTML(실험적)
TeX 소스
추가 기능
오디오 요약
현재 탐색 컨텍스트:
참고문헌 및 인용
Google 학술검색
Semantic Scholar
북마크
기관
arXivLabs는 협력자가 당사 웹사이트에서 새로운 arXiv 기능을 직접 개발하고 공유할 수 있도록 하는 프레임워크입니다.
arXivLabs와 함께 일하는 개인과 조직 모두는 개방성, 커뮤니티, 우수성, 그리고 사용자 데이터 개인정보 보호라는 당사의 가치를 수용하고 받아들였습니다. arXiv은 이러한 가치에 헌신하며, 이에 부합하는 파트너들과만 협력합니다.
arXiv 커뮤니티에 가치를 더할 프로젝트 아이디어가 있으신가요? arXivLabs에 대해 자세히 알아보세요.