AI ニュース · AI NEWS

llama.cpp · b11923

ggml : relax scale to non-contiguous views (#31146) * ggml : relax scale to non-contiguous views SCALE requires src0 to be 1D-contiguous. Relax this to dim-0 contiguity with arbitrary row strides (ggml_is_contiguous_rows), same as the unary ops in the Metal backend. - ggml: relax the assert in ggml_scale_impl - cpu: address src0 rows through their byte strides (f32, bf16) - cuda: stride-aware kernel, fastdiv row decomposition - metal: support bf16 scale (guarded unary instantiations) - sycl: keep the gate at contiguous, the kernel is flat f32 Add view variants to test_scale. Verified on CPU, Metal and CUDA. Assisted-by: dsh:llama.cpp/ggml-org/Qwen3.8-Flash-Next-GGUF (RTX 5090 32GB, DDR5 128GB) * cuda : skip the softcap fusion on non-contiguous views The fused softcap kernel reads src and w

2026-10-27

llama.cpp releases16:50

b11923

ggml：非連続なビューに対してスケールを緩和 (#31146) * ggml：非連続なビューに対してスケールを緩和 SCALE では src0 が 1 次元の連続メモリであることが要求されます。これを、任意の行ストライド（ggml_is_contiguous_rows）を持つ次元 0 の連続性に緩和し、Metal バックエンドの単項演算と同様の動作を実現します。 - ggml：ggml_scale_impl におけるアサートを緩和 - cpu：src0 の各行をバイトストライド（f32、bf16）に基づいてアクセス - cuda：ストライド対応のカーネル、高速除算による行分解 - metal：bf16 スケールをサポート（ガード付きの単項インスタンス化） - sycl：ゲートは連続状態を維持し、カーネルはフラットな f32 を使用 test_scale にビュー変種を追加。CPU、Metal、CUDA で検証済み。補助者：dsh:llama.cpp/ggml-org/Qwen3.8-Flash-Next-GGUF（RTX 5090 32GB、DDR5 128GB） * cuda：非連続なビューではソフトキャップ融合をスキップ融合されたソフトキャップカーネルは src と w を読み込みます

経緯と関連報道