MXFP4에서 MoE LLM을 훈련하기: 우리가 BF16과의 격차를 어떻게 해소했는가

arXiv:2610.32229v1 발표 유형: 신규 초록: 8비트 미만의 연산에서 대규모 언어 모델(LLM)을 학습하면 메모리 대역폭과 연산 처리량에서 상당한 향상을 기대할 수 있지만, FP4 형식은 양자화 오차가 너무 심해 이를 해결하지 않으면 최적화가 불안정해질 수 있습니다. 우리는 MXFP4 마이크로스케일링 형식 하에 MLPerf 소형 MoE 학습 벤치마크에서 200억 개의 파라미터를 가진 혼합-전문가(MoE) 모델인 GPT-OSS-20B를 위한 오픈소스 학습 레시피 ALTO를 제시합니다. 이 레시피는 Abecassis, Felix 등 [arXiv:2509.25149]에서 제안된 기존 기법들(하이브리드 1D/2D 블록 양자화, 무작위 하다마르 변환, 확률적 반올림)과 TetraJet-v2 [arXiv:2510.27527]에서 차용한 간소화된 가중치 탈진동 방식을 결합한 것입니다. 글로벌 배치 크기 기준 C4 검증 결과