GLM-5.3-Flash-W4A16-MTP

모델 소개

INT4 weight-only quantization of zai-org/GLM-5.3-Flash with the BF16 MTP draft head kept for speculative decoding. Only the 36,288 routed-expert GEMMs are INT4 (GPTQ, symmetric, group-size 128); attention, router, shared experts, embeddings, the vision tower and the MTP head stay in BF16. Not a new model — all capability comes from the base model. > **Two things that bite.** If your `config.json` predates 2026-09-08, re-download it — older copies fail in vLLM with `KeyError: 'layers.0.mlp.gate_up_proj.weight'` (weights are unchanged). And always pass `--max-num-seqs ≤ 512` — the vLLM default of 1024 exceeds this hybrid linear-attention model's 512 Mamba/KDA-state cache blocks. **H100 / H200, TP=4 (pinned image)** — the Quick start command is the benchmarked recipe. `num_speculative_tokens: 2` is the sweet spot on Hopper (52–55% acceptance; N=5 collapses acceptance to ~30%). Keep prefix caching off — it measured −2…−5% on H200. On 8× H200, two independent TP=4 replicas behind a load balancer beat one TP=8 endpoint by +28–38% aggregate at c128–c512; TP=8 wins single-stream and holds one 7.8M-token pool. On 2× H200 (89.5 GiB weights per GPU) add `--tensor-parallel-size 2 --max-num-seqs 128 --max-cudagraph-capture-size 128` for 262K, or `--max-model-len 1048576 --max-num-seqs 16 --gpu-memory-utilization 0.95 --max-cudagraph-capture-size 64 --max-num-batched-tokens 4096` for 1M.

주요 특징

特点摘要待依据来源补齐，不凭模型名称推断能力。

한계 및 유의 사항

구체적 한계를 판단할 출처가 부족합니다. 실제 성능, 지연, 데이터 정책, 라이선스와 버전 수명을 확인하세요.

출처별 요금 및 비용 분석

요금은 채널, 지역, 설정에 따라 다릅니다. 각 채널 요금은 개별 표시되며 제공사의 통일 공식 요금이 아닙니다.

공개 평가 및 실행 설정

暂无已采集的可核验公开评分。模型未上榜不代表能力较低。

자주 묻는 질문

출처 및 추적 기록

许可证：mit。模型介绍与第三方评测均以原来源的具体版本和方法为准。