본문으로 건너뛰기
AI NEWS JOURNAL
ONE EVENT. MANY PERSPECTIVES.

llama.cpp · b11927

metal : add GGML_OP_TOP_K_MASK (#31230) * metal : add GGML_OP_TOP_K_MASK Port the fused top-k mask from the CUDA backend: a grid-stride kernel fills the output with -inf, then one threadgroup per row copies the mask values of the kept cells over it. Function constants drop the score, blocks and extra paths that a given graph does not use. Assisted-by: dsh:llama.cpp/ggml-org/Qwen3.8-Flash-Next-GGUF (MacBook, M5 Max, 128GB) * metal : clean up top-k mask kernel formatting Assisted-by: dsh:llama.cpp/ggml-org/Qwen3.8-Flash-Next-GGUF (MacBook, M5 Max, 128GB) **Website:** - **Attestations:** - **macOS/iOS:** - [macOS Apple Silicon (arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b11927/llama-b11927-bin-macos-arm64.tar.gz) - macOS Apple Silicon (arm64, KleidiAI enabled) [DISABLED](

1 개 독립 출처 · 1 건의 보도오래된순 ↕
발행 시간순

b11927

metal : GGML_OP_TOP_K_MASK 추가 (#31230) * metal : GGML_OP_TOP_K_MASK 추가 CUDA 백엔드에서 퓨즈된 top-k 마스크를 이식함: 그리드 스트라이드 커널이 출력을 -inf로 채운 뒤, 각 행마다 하나의 스레드그룹이 유지되는 셀들의 마스크 값을 복사하여 덮어쓴다. 함수 상수는 특정 그래프가 사용하지 않는 점수, 블록 및 추가 경로를 제거한다. 협력자: dsh:llama.cpp/ggml-org/Qwen3.8-Flash-Next-GGUF (MacBook, M5 Max, 128GB) * metal : top-k 마스크 커널 포맷 정리 협력자: dsh:llama.cpp/ggml-org/Qwen3.8-Flash-Next-GGUF (MacBook, M5 Max, 128GB) **웹사이트:** - **인증서:** - **macOS/iOS:** - [macOS 애플 실리콘(arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b11927/llama-b11927-bin-macos-arm64.tar.gz) - macOS 애플 실리콘(arm64, KleidiAI 활성화) [비활성화](

진행 상황 및 관련 보도