GLM-5.3-NVFP4

모델 소개

This repository contains an NVFP4-quantized version of Z.ai's `zai-org/GLM-5.3`. The weights and activations of the routed-expert linear layers are in NVFP4, and the KV cache is in FP8. The checkpoint uses the NVIDIA Model Optimizer format (`quant_method: modelopt`) and is served directly by SGLang and vLLM on NVIDIA Blackwell GPUs (SM100+). This checkpoint was produced with our in-house post-training quantization toolchain and exported in the NVIDIA Model Optimizer format. Only the weights and activations of the linear operators within the routed MoE experts are quantized to NVFP4, with static per-tensor activation scales. The KV cache is quantized to FP8 with static unit scales (`kv_cache_quant_algo: FP8`). The commands below enable speculative decoding with the DFlash 2 draft model (lossless, 7 draft tokens per verification step); remove the `--speculative-*` flags to serve without it.

주요 특징

特点摘要待依据来源补齐，不凭模型名称推断能力。

한계 및 유의 사항

구체적 한계를 판단할 출처가 부족합니다. 실제 성능, 지연, 데이터 정책, 라이선스와 버전 수명을 확인하세요.

출처별 요금 및 비용 분석

요금은 채널, 지역, 설정에 따라 다릅니다. 각 채널 요금은 개별 표시되며 제공사의 통일 공식 요금이 아닙니다.

공개 평가 및 실행 설정

暂无已采集的可核验公开评分。模型未上榜不代表能力较低。

자주 묻는 질문

출처 및 추적 기록

许可证：other。模型介绍与第三方评测均以原来源的具体版本和方法为准。