AI NEWS.ccAIが動く、未来が変わる
♡ 保存済み 0
AIモデルライブラリ/dbirks/Qwen3.8-27B-W4A16-AutoRound
モデル情報

Qwen3.8-27B-W4A16-AutoRound

dbirks · Qwen3.8-27B-W4A16-AutoRound

An int4 weight-only (W4A16) quantization of Qwen/Qwen3.8-27B, made with Intel AutoRound and packaged in compressed-tensors for vLLM. The weights are int4 and the activations stay BF16, so it runs on any Ampere-or-newer NVIDIA GPU through the Marlin int4 kernel — no Blackwell needed. It's about 19.5 GB on disk, down from roughly 52 GB at BF16. This build is aimed at non-Blackwell GPUs. If you have a Blackwell card (RTX 50-series, B200, DGX Spark), the NVFP4 (W4A4) sibling uses the FP4 tensor cores and will be faster. Accuracy notes are in the Evaluation section below. - **Base model:** `Qwen/Qwen3.8-27B` — a hybrid **GatedDeltaNet (linear-attention) + full-attention** multimodal decoder (64 layers: 48 linear-attn + 16 full-attn) with a vision tower; 262K context. - **Quantization:** int4 **W4A16** (weight-only, group size 128) on the language-decoder `Linear` layers, **except** the two tiny per-layer recurrence-control projections (`in_proj_a`, `in_proj_b`) which stay BF16. - **Kept BF16:** `linear_attn.in_proj_a` / `in_proj_b`, the entire `visual.*` vision tower, the `mtp` head, and `lm_head`. - **Format:** compressed-tensors (`pack-quantized`), auto-detected by vLLM (Marlin int4). - **Quantizer:** Intel AutoRound (arXiv:2309.05516), SignRound block reconstruction.

翻訳待ちのため原文を表示しています。

画像質問応答license:apache-2.0
コンテキスト長非公開
入力 → 出力テキスト、画像 → テキスト
モデルウェイト未確認
情報更新日時2026/10/31 12:34:20
OVERVIEW

モデル紹介

An int4 weight-only (W4A16) quantization of Qwen/Qwen3.8-27B, made with Intel AutoRound and packaged in compressed-tensors for vLLM. The weights are int4 and the activations stay BF16, so it runs on any Ampere-or-newer NVIDIA GPU through the Marlin int4 kernel — no Blackwell needed. It's about 19.5 GB on disk, down from roughly 52 GB at BF16. This build is aimed at non-Blackwell GPUs. If you have a Blackwell card (RTX 50-series, B200, DGX Spark), the NVFP4 (W4A4) sibling uses the FP4 tensor cores and will be faster. Accuracy notes are in the Evaluation section below. - **Base model:** `Qwen/Qwen3.8-27B` — a hybrid **GatedDeltaNet (linear-attention) + full-attention** multimodal decoder (64 layers: 48 linear-attn + 16 full-attn) with a vision tower; 262K context. - **Quantization:** int4 **W4A16** (weight-only, group size 128) on the language-decoder `Linear` layers, **except** the two tiny per-layer recurrence-control projections (`in_proj_a`, `in_proj_b`) which stay BF16. - **Kept BF16:** `linear_attn.in_proj_a` / `in_proj_b`, the entire `visual.*` vision tower, the `mtp` head, and `lm_head`. - **Format:** compressed-tensors (`pack-quantized`), auto-detected by vLLM (Marlin int4). - **Quantizer:** Intel AutoRound (arXiv:2309.05516), SignRound block reconstruction.

主な特徴

特点摘要待依据来源补齐，不凭模型名称推断能力。

制約と注意点

具体的な制約を判断する出典が不足しています。実際の性能、遅延、データ方針、ライセンス、提供期間を確認してください。

PRICING & COST

出典別料金と費用分析

料金はチャネル・地域・設定によって異なります。各チャネルの料金は個別に表示し、提供元の統一公式料金とは見なしません。

出典・チャネル入力出力課金単位収集日時
確認可能な料金がありません。出典を確認してください。

月額の基本トークン費用を試算

—

試算はキャッシュ割引、段階料金、マルチモーダル追加料金、検索、税金、追加推論出力を含みません。

INDEPENDENT BENCHMARKS

公開評価と実行設定

暂无已采集的可核验公开评分。模型未上榜不代表能力较低。

収録済みの全ランキング →

よくある質問

オープンウェイトなら無料で商用利用できますか？

必ずしもそうではありません。バージョン別のライセンス、商用条件、利用方針を確認してください。自前運用には計算資源と保守費用も必要です。

これはリアルタイムの請求料金ですか？

収集日時付きの料金スナップショットです。最新のバージョン、地域、割引、課金方式は各チャネルで確認してください。

出典と追跡記録

huggingface · dbirks/Qwen3.8-27B-W4A16-AutoRound ↗2026/10/31 12:34:20
huggingface · enrich:425ceae7-5d24-49b0-a2d2-52a7e35f80f6 ↗2026/10/29 16:58:58

许可证：apache-2.0。模型介绍与第三方评测均以原来源的具体版本和方法为准。