Qwen3.8-27B-GPTQ-W4A16

모델 소개

📦 18.1 GiB · 2.8× smaller compressed-tensors · int4 g128 sym 🧬 calibrated at ctx 32,768 ⚡ MTP bundled · 1.71× decode 👁️ Text + Image · vision 3/3 🏅 tool-calling = bf16, turn for turn 🏗️ vLLM 0.27.1 ⚡ What this is A compressed-tensors W4A16 (GPTQ, int4 group-128 symmetric) quantization of Qwen/Qwen3.8-27B that vLLM serves directly — no conversion, no custom runtime, quantization auto-detected from config.json . Calibrated on 4.26M tokens of real agentic-coding sessions packed at 32K context. Sibling of the GGUF ladder , same corpus: this one for vLLM , the GGUF for llama.cpp / Ollama / LM Studio. ⚡ Speculative decoding + vision, both bundled The trained MTP draft head ships inside the checkpoint — one --speculative-config flag, no second file, 1.71× decode at 71.2% acceptance . The vision tower ships too, kept at bf16: shown a synthetic test image it named the colour, shape and position of all three shapes correctly, unprompted detail included ("inverted triangle, base horizontal at the top"). Both are additive — drop the flags and you are back to the identical text model.

주요 특징

特点摘要待依据来源补齐，不凭模型名称推断能力。

한계 및 유의 사항

구체적 한계를 판단할 출처가 부족합니다. 실제 성능, 지연, 데이터 정책, 라이선스와 버전 수명을 확인하세요.

출처별 요금 및 비용 분석

요금은 채널, 지역, 설정에 따라 다릅니다. 각 채널 요금은 개별 표시되며 제공사의 통일 공식 요금이 아닙니다.

공개 평가 및 실행 설정

暂无已采集的可核验公开评分。模型未上榜不代表能力较低。

자주 묻는 질문

출처 및 추적 기록

许可证：apache-2.0。模型介绍与第三方评测均以原来源的具体版本和方法为准。