AI NEWS.ccAI正在发生 未来正在更新
♡ 我的收藏 0
AI 模型库/grevinden/qwen3.8-27b-w4a16-autoround-rtx3090
MODEL PROFILE · 模型档案

qwen3.8-27b-w4a16-autoround-rtx3090

grevinden · qwen3.8-27b-w4a16-autoround-rtx3090

Готовая квантизация **Qwen/Qwen3.8-27B** под одну карту **NVIDIA RTX 3090 24 ГБ** (Ampere, sm86). W4A16 int4, group_size=128, симметричный, формат compressed-tensors / **Marlin int4** — работает на инференс-стеке vLLM-форка `syv-ai/qwen38-27b-rtx3090` (и других vLLM с поддержкой compressed-tensors). Можно просто **стянуть и использовать** — без повторной квантизации. Это "серверный" вариант: логика `lm_head`/`embed_tokens` переквантована в int8, MTP-модуль квантизован, приложен draft-vocab для многотокенного предсказания. 1. **Калибровка** (стратифицированная, n=520, по приоритетам качества): | Источник | n | Цель | |---|---|---| | magicoder | 63 | Python-код, инструменты | | agentinstruct | 48 | агентный режим | | glaive_fc | 48 | function-calling / инструменты | | nemotron_terminal | 48 | работа с терминалом (файлы, отладка, данные) | | oasst2_ru | 48 | живой RU-чат, неформальное общение | | fineweb2-ru | 48 | русский текст | | pile-10k | 48 | общий EN | | dolly | 48 | резюме-анализ / качественные тексты | | gsm8k | 40 | рассуждения/математика | | 1c_code | 40 | 1С:Предприятие (BSL) | | ru_turbo_saiga | 26 | RU-инструкции | | humaneval | 15 | Python-код | Eval: n=84 из тех же источников (hold-out). 2. **AutoRound**: `--algs awq,signround --iters 800 --batch 2 --seqlen 2048 --nsamples 200 --seed 42` (рецепт против OOM Linux с гессианом — см. репозиторий-руководство). 3. **Подготовка под форк**: `lm_head`/`embed_tokens` → int8, MTP-модуль квантизован, сборка `mtp_draft_vocab_ids.pt` (40 960 токенов), 68 shards. 4. **Верификация** в контейнере инференса: `verify: OK (0 failures)`.

译文排队中，当前展示来源原文。

文本生成license:apache-2.0
上下文窗口来源未披露
输入 → 输出文本 → 文本
模型权重待核验
档案更新时间2026/11/2 19:16:13
OVERVIEW

模型介绍

Готовая квантизация **Qwen/Qwen3.8-27B** под одну карту **NVIDIA RTX 3090 24 ГБ** (Ampere, sm86). W4A16 int4, group_size=128, симметричный, формат compressed-tensors / **Marlin int4** — работает на инференс-стеке vLLM-форка `syv-ai/qwen38-27b-rtx3090` (и других vLLM с поддержкой compressed-tensors). Можно просто **стянуть и использовать** — без повторной квантизации. Это "серверный" вариант: логика `lm_head`/`embed_tokens` переквантована в int8, MTP-модуль квантизован, приложен draft-vocab для многотокенного предсказания. 1. **Калибровка** (стратифицированная, n=520, по приоритетам качества): | Источник | n | Цель | |---|---|---| | magicoder | 63 | Python-код, инструменты | | agentinstruct | 48 | агентный режим | | glaive_fc | 48 | function-calling / инструменты | | nemotron_terminal | 48 | работа с терминалом (файлы, отладка, данные) | | oasst2_ru | 48 | живой RU-чат, неформальное общение | | fineweb2-ru | 48 | русский текст | | pile-10k | 48 | общий EN | | dolly | 48 | резюме-анализ / качественные тексты | | gsm8k | 40 | рассуждения/математика | | 1c_code | 40 | 1С:Предприятие (BSL) | | ru_turbo_saiga | 26 | RU-инструкции | | humaneval | 15 | Python-код | Eval: n=84 из тех же источников (hold-out). 2. **AutoRound**: `--algs awq,signround --iters 800 --batch 2 --seqlen 2048 --nsamples 200 --seed 42` (рецепт против OOM Linux с гессианом — см. репозиторий-руководство). 3. **Подготовка под форк**: `lm_head`/`embed_tokens` → int8, MTP-модуль квантизован, сборка `mtp_draft_vocab_ids.pt` (40 960 токенов), 68 shards. 4. **Верификация** в контейнере инференса: `verify: OK (0 failures)`.

主要特点

特点摘要待依据来源补齐，不凭模型名称推断能力。

局限与注意事项

暂无足够来源支持具体缺点结论。请重点验证实际任务表现、时延、数据政策、许可与版本生命周期。

PRICING & COST

来源报价与费用分析

同一模型在不同渠道、地区和配置下可能采用不同价格。下表独立保留各渠道报价，不将渠道价格视为厂商官方统一价格。

来源 / 渠道输入输出计费单位采集时间
暂未取得可核验报价，请查阅来源渠道。

按月估算基础 Token 费用

—

预估不包含缓存优惠、阶梯定价、多模态附加费用、网络检索、税费及推理额外输出。

INDEPENDENT BENCHMARKS

公开评测与运行配置

暂无已采集的可核验公开评分。模型未上榜不代表能力较低。

查看完整已收录榜单 →

常见问题

开放权重是否代表可以免费商用？

不一定。应核对具体版本许可证、商用门槛和使用政策。自部署还会产生算力和维护成本。

这些价格是实时结算价格吗？

不是实时结算价格，而是带采集时间的来源报价快照。请到对应渠道核对当前版本、区域、折扣和计费方式。

资料来源与可追溯记录

huggingface · grevinden/qwen3.8-27b-w4a16-autoround-rtx3090 ↗2026/10/29 20:50:44
huggingface · enrich:13eb393d-831b-438b-97c2-d7148dad242c ↗2026/10/30 15:22:56

许可证：apache-2.0。模型介绍与第三方评测均以原来源的具体版本和方法为准。