AI 뉴스 검색

제목, 요약, 본문을 검색해 흩어진 정보를 연결하세요.

2026-11-03

llama.cpp 릴리스07:17

llama.cpp · b12061

mtmd: Pocket tts - 음성 클로닝 없는 음성 지원 (#31429) * feat: 음성 클로닝이 없는 PocketTTS 음성 지원 kyutai/pocket-tts-without-voice-cloning 가중치는 음성 프롬프트 이후 백본 KV 상태로 사전 정의된 음성을 제공합니다. 변환기는 각 상태를 다시 프롬프트 임베딩으로 변환하여 mmproj(voice.)에 저장하며, 초기화된 음성 인코더는 제외되고 /tts 및 --tts-voice의 "voice" 필드는 그중 하나를 선택합니다. 모델에 음성 인코더가 없을 경우 스피커 참조는 거부됩니다. Assisted-by: Claude Fable 5.1 * convert : pocket-tts 음성이 변환에 결코 실패하지 않도록 하며, 상태의 드리프트를 기록합니다 Kyutai에서 제공하는 음성 상태는 팩의 가중치가 프롬프트에 제공하는 것과 항상 일치하는 것은 아닙니다: 이탈리아어, 독일어 및 스페인어는 bf16 반올림 범위 내에서 일치하며, 영어

진행 상황 및 관련 보도

llama.cpp 릴리스06:41

llama.cpp · b12059

llama : flash_attn_ext_rows - 다중 시퀀스를 위한 보다 효율적인 통합 kv (#29510) * llama : llm_attn_mask와 kv_rows를 사용하여 통합 주의력 지원자: dsh:llama.cpp/ggml-org/DeepSeek-V4-Flash-Vision-Exp-GGUF (Mac Studio, M2 Ultra, 192GB) 공동 작성자: Georgi Gerganov * cont : `get_seq_cells` 최적화 * llama : 시퀀스별 셀 비트맵으로부터 kv_rows 목록을 구축 각 시퀀스에 대한 셀 비트맵(`seq`의 전치)을 유지하고, seq_pos_inc/dec에서 업데이트하며, 설정된 비트를 순회하여 셀 목록을 생성합니다. 이 목록은 셀 순서를 유지하며, 여러 시퀀스에서 공유되는 셀은 모든 목록에 포함되며, 셀이 제거될 때 재구성할 필요가 없습니다. 또한 SWA가 슬라이스의 모든 토큰에서 숨기는 셀(표준 및 청크형 SWA)도 목록에서 제외합니다. * cont : get_kv_rows_ 생성

진행 상황 및 관련 보도

2026-11-01

llama.cpp 릴리스15:41

llama.cpp · b12031

opencl: 초기 iq3 지원 추가 (#31338) * opencl: iq3_s AOS mv 추가, Assisted-by: Codex * opencl: iq3_s SOA mv 및 타일링된 mm 추가, Assisted-by: Codex * opencl: adreno용 iq3_s noshuffle gemm/gemv 추가, Co-authored-by: Shaofei Qi, Assisted-by: Codex * opencl: adreno용 iq3_s dp4a 추가, Co-authored-by: Shaofei Qi, Assisted-by: Codex * opencl: adreno의 iq3_s 디코딩과 배치 축소 최적화, Co-authored-by: Shaofei Qi, Assisted-by: Codex * opencl: iq3_xxs AOS mv 추가, Assisted-by: Codex * opencl: iq3_xxs SOA mv 및 타일링된 mm 추가, Assisted-by: Codex * opencl: adreno용 iq3_xxs noshuffle gemm/gemv 추가, Co-authored-by: Shaofei Qi, Assisted-by: Codex * opencl: adreno용 iq3_xxs dp4a 추가, Co-authored-by: Shaofei Qi, Assisted-by: Codex * opencl: adreno의 iq3_xxs 디코딩과 배치 축소 최적화, Co-authored-by: Sha

진행 상황 및 관련 보도

llama.cpp 릴리스02:42

llama.cpp · b12021

mtmd : 레터박스 여백 없이 Gemma 4 이미지 크기 조정(#30922) * mtmd : 레터박스 여백 없이 Gemma 4 이미지 크기 조정 * @ngxson의 제안 적용 --------- 공동 저자: Xuan-Son Nguyen **웹사이트:** - **인증서:** - **macOS/iOS:** - [macOS 애플 실리콘(arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b12021/llama-b12021-bin-macos-arm64.tar.gz) - macOS 애플 실리콘(arm64, KleidiAI 활성화) [비활성화](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS 인텔(x64)](https://github.com/ggml-org/llama.cpp/releases/download/b12021/llama-b12021-bin-macos-x64.tar.gz) - [iOS XCFramework](https://github.com/ggml-org/llama.cpp/releases/download/b12021/llama-b12021-xcframework.zip) **Linux:** - [Ubuntu x64(CPU)](https://github.com/ggml-org/llama.cpp/releases/do

진행 상황 및 관련 보도

2026-10-31

llama.cpp 릴리스16:07

llama.cpp · b12020

opencl: fwht 추가 (#31434) 공동 작성자: Li He **웹사이트:** - **인증서:** - **macOS/iOS:** - [macOS 애플 실리콘(arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b12020/llama-b12020-bin-macos-arm64.tar.gz) - macOS 애플 실리콘(arm64, KleidiAI 활성화) [비활성화](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS 인텔(x64)](https://github.com/ggml-org/llama.cpp/releases/download/b12020/llama-b12020-bin-macos-x64.tar.gz) - [iOS XCFramework](https://github.com/ggml-org/llama.cpp/releases/download/b12020/llama-b12020-xcframework.zip) **Linux:** - [Ubuntu x64(CPU)](https://github.com/ggml-org/llama.cpp/releases/download/b12020/llama-b12020-bin-ubuntu-x64.tar.gz) - [Ubuntu arm64(CPU)](https://github.com/ggml-org/llama.cpp/releases/download/b12020/llama-b1202

진행 상황 및 관련 보도

2026-10-30

llama.cpp 릴리스21:50

b12007

kv-cache : GPU에서 회전 상수를 유지 (#31073) * kv-cache : GPU에서 회전 상수를 유지 도움말: Codex * tests : 상주하는 KV 회전 버퍼 검증 도움말: Codex * kv-cache : 남아 있는 다중 디바이스 회전 작업 문서화 도움말: Codex * kv-cache : 레이어별 회전 버퍼 지원 도움말: Codex * kv-cache : 하이브리드 SWA 회전 입력 및 혼합 배치 확인 수정 도움말: Codex * models : mistral-large4와 dflash에서 레이어별 회전 사용 * tests: 회전 버퍼 테스트 삭제 --------- 공동 작성자: Pascal **웹사이트:** - **인증서:** - **macOS/iOS:** - [macOS 애플 실리콘(arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b12007/llama-b12007-bin-macos-arm64.tar.gz) - macOS 애플 실리콘(arm64, KleidiAI 활성화) [비활성화](ht

진행 상황 및 관련 보도

llama.cpp 릴리스20:45

b12005

opencl: q2_0 초기 지원 추가 (#31340) * opencl: q2_0 AOS 이동 추가 공동 작성자: Shaofei Qi 보조 작성자: Codex * opencl: q2_0 SOA 이동 및 타일링된 mm 추가 공동 작성자: Shaofei Qi 보조 작성자: Codex * opencl: adreno용 q2_0 noshuffle gemm/gemv 추가 보조 작성자: Codex * opencl: adreno용 q2_0 dp4a 추가 * opencl: adreno의 q2_0 디코딩 및 좁은 배치 최적화 --------- 공동 작성자: Li He **웹사이트:** - **인증서:** - **macOS/iOS:** - [macOS 애플 실리콘(arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b12005/llama-b12005-bin-macos-arm64.tar.gz) - macOS 애플 실리콘(arm64, KleidiAI 활성화) [비활성화](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS 인텔(x64)](https://github.com/ggml-org/llama.cpp/releases/download/b12005/llama-b12005-bin-macos-x64.tar.g

진행 상황 및 관련 보도

llama.cpp 릴리스12:25

b12000

Quant: OCP FP8 E4M3 지원 (#27512) * 진행 중인 OCP FP8 E4M3 지원 * Python 타입 체커 수정 * 변환 시 FP8에 대해서도 input_scales를 물리적으로 적용 * https://huggingface.co/RedHatAI/Qwen3.8-27B-NVFP4의 변환 문제 수정 1. 행별 FP8이 잘못되어 NVFP4로 변환되었는데, 이는 NVFP4가 차원만으로 검사했기 때문입니다. FP8의 경우 dtype까지 함께 확인해야 합니다. 2. 가중치를 재구성하는 방식과 동일하게 FP8 QKV 투영 스케일도 재구성해야 합니다. * 변환 과정에서 남아 있는 FP8 텐서의 디퀀타이징을 허용 * FP8 전용 압축 텐서 체크포인트에 대해 텐서 기반 전략을 사용할 수 있도록 지원 * FP8_E4M3에 대한 gguf-py 동작을 수정하고 테스트 * 잠시 동안 FP8에 대해 QKV 융합을 금지 * Qwen3-Next의 융합된 qkvz와 FP8 변환 문제를 해결 * --fuse-gate-up-exps 옵션에서는 서로 다른 ws를 가질 수 있으므로 FP8을 융합하지 않도록 함 * 변환 중에 FP8을 융합하지 않을 경우 경고 메시지를 출력

진행 상황 및 관련 보도

llama.cpp 릴리스04:16

b11986

opencl: iq2에 대한 초기 지원 (#31267) * opencl: iq2_s AOS 이동 추가 * opencl: iq2_s SOA 이동 및 타일링된 mm 추가 * opencl: adreno용 iq2_s noshuffle gemm/gemv 추가 * opencl: adreno용 iq2_s dp4a 추가 * opencl: adreno의 iq2_s 디코딩과 좁은 배치를 최적화 Co-authored-by: Hongqiang Wang * opencl: iq2_xs AOS 이동 추가 * opencl: iq2_xs SOA 이동 및 타일링된 mm 추가 * opencl: adreno용 iq2_xs noshuffle gemm/gemv 추가 * opencl: adreno용 iq2_xs dp4a 추가 * opencl: adreno의 iq2_xs 디코딩과 좁은 배치를 최적화 Co-authored-by: Hongqiang Wang * opencl: iq2_xxs AOS 이동 추가 * opencl: iq2_xxs SOA 이동 및 타일링된 mm 추가 * opencl: adreno용 iq2_xxs noshuffle gemm/gemv 추가 * opencl: adreno용 iq2_xxs dp4a 추가 * opencl: adreno의 iq2_xxs 디코딩과 좁은 배치를 최적화 Co-authored-by: Hongqiang Wang --------- Co-au

진행 상황 및 관련 보도

2026-10-29

llama.cpp 릴리스14:45

b11979

sycl : 재정렬 레이아웃의 디퀀타이제이션 스토어(vectorize) (Q4_0, K-쿼트, IQ3, MXFP4) (#30976) * sycl : 재정렬된 Q4_0 디퀀타이제이션 스토어를 확장 The 재정렬 레이아웃 Q4_0 변환 커널은 작업 항목당 하나의 qs 바이트를 처리하며, 두 개의 스칼라 스토어를 통해 16개의 요소 간격으로 배치되었습니다. #30775에서 Q8_0 커널에 적용된 것과 동일한 방식을 적용합니다: 하나의 32요소 블록 내에서 작업 항목당 네 개의 qs 바이트(8개의 출력)를 처리하는 평면형 sycl::range<1> 런치와 두 개의 벡터 스토어를 사용합니다. 스칼라 커널과 동일한 부동소수점 연산 및 반올림 방식을 사용하며, 출력은 비트 수준에서 동일합니다. 기존 k % QK4_0 == 0 확인 조건은 전체 32요소 블록을 보장하므로, k/8 런치는 각 행을 정확히 모두 다룹니다. 이제 더 이상 참조되지 않는 스칼라 재정렬 커널은 제거됩니다. Arc Pro B70, 프리필이 준비된 상태(재정렬이 설치된 텐서에서 디코딩 후 프리필): +6.4% ~ +7.3%

진행 상황 및 관련 보도

2026-10-25

llama.cpp 릴리스03:51

llama.cpp가 b11866 버전을 출시했습니다: Metal 백엔드의 중복 AMAX 스케일링 로직을 제거하고, MoE 계산 경로를 간소화했습니다.

llama.cpp v.b11866 버전에서는 Metal 백엔드에 존재하던 구식 src1의 2의 거듭제곱 형태 AMAX 스케일링 메커니즘을 제거하고, 대신 계산 그래프 내에서 전문가 토큰별로 보다 세밀한 amax 스케일링을 적용하여 MoE 하에서 프로젝션 활성화 값이 f16 표현 범위 내에 유지되도록 보장합니다. 동시에 관련된 이단계 축약 핵심 함수, F32 정밀도 스케줄링 및 경계 위반 테스트 케이스도 함께 삭제되었습니다.

진행 상황 및 관련 보도

llama.cpp 릴리스03:13

llama.cpp가 b11861 버전을 출시했습니다: minimax-m3 모델의 양자화 스케일링 텐서가 전달되지 않아 발생하는 추론 오류를 수정했습니다.

llama.cpp v.b11861은 minimax-m3 모델에서 NVFP4/MXFP8 양자화 시 스케일 텐서가 계산 그래프에 주입되지 않아 발생하던 가중치 왜곡 문제를 해결하여 ‘토큰 수프’ 현상과 잔차 소멸을 방지합니다. 또한 macOS, Linux, Windows, Android, iOS 및 openEuler를 지원하는 다중 플랫폼 바이너리 빌드를 함께 제공합니다.

진행 상황 및 관련 보도