本文へ移動
AI NEWS JOURNAL
ONE EVENT. MANY PERSPECTIVES.

llama.cpp · b11905

vulkan: rms norm optimization using subgroup reductions (#29882) * RMS Norm Subgroup reductions optimizaton * Fix build error * Improved optimization * Make usage of BLOCK_SIZE consistent * Add fast path to skip 2nd subgroupAdd * Add AMD Vendor to subgroup reduction opt * Add comment clarifying rms_dict and merge_maps behavior * Add unroll * Rebase * Fixed syntax issue * Add 128/256/512 block sizes to non-subgroup path * Remove trailing whitespace **Website:** - **Attestations:** - **macOS/iOS:** - [macOS Apple Silicon (arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b11905/llama-b11905-bin-macos-arm64.tar.gz) - macOS Apple Silicon (arm64, KleidiAI enabled) [DISABLED](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS Intel (x64)](https://github.com/ggml-org/llama.c

1 件の独立した情報源 · 1 件の報道古い順 ↕
公開日時順

b11905

vulkan:サブグループ削減を用いたrmsノルム最適化(#29882) * RMSノルム サブグループ削減による最適化 * ビルドエラーの修正 * 最適化の改善 * BLOCK_SIZE の使用を一貫性のあるものに調整 * 第2サブグループをスキップする高速経路を追加 * サブグループ削減オプションにAMDベンダーを追加 * rms_dictおよびmerge_mapsの動作を明確にするコメントを追加 * ユニロールの追加 * リベース * 構文上の問題を修正 * 非サブグループ経路に128/256/512ブロックサイズを追加 * 末尾の空白を削除 **ウェブサイト:** - **証明書:** - **macOS/iOS:** - [macOS Apple Silicon(arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b11905/llama-b11905-bin-macos-arm64.tar.gz) - macOS Apple Silicon(arm64、KleidiAI有効)[無効](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS Intel(x64)](https://github.com/ggml-org/llama.c)

経緯と関連報道