본문으로 건너뛰기
AI NEWSAI의 모든 변화를 만나다
뉴스 북마크
THE JOURNAL
AI NEWS JOURNAL
AI, IN PERSPECTIVE

전체 AI 소식

출처, 주제, 시간으로 전체 뉴스에서 관심 소식을 찾아보세요.

발행 시간순

llama.cpp releases

b11927

metal : GGML_OP_TOP_K_MASK 추가 (#31230) * metal : GGML_OP_TOP_K_MASK 추가 CUDA 백엔드에서 퓨즈된 top-k 마스크를 이식함: 그리드 스트라이드 커널이 출력을 -inf로 채운 뒤, 각 행마다 하나의 스레드그룹이 유지되는 셀들의 마스크 값을 복사하여 덮어쓴다. 함수 상수는 특정 그래프가 사용하지 않는 점수, 블록 및 추가 경로를 제거한다. 협력자: dsh:llama.cpp/ggml-org/Qwen3.8-Flash-Next-GGUF (MacBook, M5 Max, 128GB) * metal : top-k 마스크 커널 포맷 정리 협력자: dsh:llama.cpp/ggml-org/Qwen3.8-Flash-Next-GGUF (MacBook, M5 Max, 128GB) **웹사이트:** - **인증서:** - **macOS/iOS:** - [macOS 애플 실리콘(arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b11927/llama-b11927-bin-macos-arm64.tar.gz) - macOS 애플 실리콘(arm64, KleidiAI 활성화) [비활성화](

진행 상황 및 관련 보도
llama.cpp releases

b11926

glm5-next : kq_mask가 없는 QSA (+ DSA) (#31009) * glm5-next : kq_mask가 없는 QSA * DSA: dsa top-k 마스크 변경이 DeepSeek-V3.2의 레이어 0과 3에서 테스트됨 **웹사이트:** - **인증서:** - **macOS/iOS:** - [macOS 애플 실리콘(arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b11926/llama-b11926-bin-macos-arm64.tar.gz) - macOS 애플 실리콘(arm64, KleidiAI 활성화) [비활성화](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS 인텔(x64)](https://github.com/ggml-org/llama.cpp/releases/download/b11926/llama-b11926-bin-macos-x64.tar.gz) - [iOS XCFramework](https://github.com/ggml-org/llama.cpp/releases/download/b11926/llama-b11926-xcframework.zip) **Linux:** - [Ubuntu x64(CPU)](https://github.com/ggml-org/llama.cpp/releases/download/b11926/llama-b11926-bin-ubuntu-x64.t)

진행 상황 및 관련 보도
llama.cpp releases

b11925

ci : ROCm 릴리스 빌드에 대해 ccache depend 모드 사용 (#31231) **웹사이트:** - **인증서:** - **macOS/iOS:** - [macOS 애플 실리콘(arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b11925/llama-b11925-bin-macos-arm64.tar.gz) - macOS 애플 실리콘(arm64, KleidiAI 활성화) [비활성화](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS 인텔(x64)](https://github.com/ggml-org/llama.cpp/releases/download/b11925/llama-b11925-bin-macos-x64.tar.gz) - [iOS XCFramework](https://github.com/ggml-org/llama.cpp/releases/download/b11925/llama-b11925-xcframework.zip) **Linux:** - [Ubuntu x64(CPU)](https://github.com/ggml-org/llama.cpp/releases/download/b11925/llama-b11925-bin-ubuntu-x64.tar.gz) - [Ubuntu arm64(CPU)](https://github.com/ggml-org/llama.cpp/releases/download/b1192)

진행 상황 및 관련 보도
llama.cpp releases

b11923

ggml : 비연속적인 뷰에 대해 스케일을 완화합니다(#31146) * ggml : 비연속적인 뷰에 대해 스케일을 완화합니다 SCALE은 src0이 1차원 연속성을 갖도록 요구합니다. 이를 임의의 행 스트라이드를 허용하는 차원-0 연속성으로 완화하여(Metal 백엔드의 단항 연산과 동일), ggml_is_contiguous_rows를 사용합니다. - ggml: ggml_scale_impl에서의 assert를 완화합니다 - cpu: src0의 행을 바이트 스트라이드에 따라 접근합니다(f32, bf16) - cuda: 스트라이드를 인식하는 커널, fastdiv 행 분해 - metal: bf16 스케일을 지원합니다(보호된 단항 인스턴시아이션) - sycl: 게이트는 연속적으로 유지하되, 커널은 평면 f32로 구현합니다 test_scale에 뷰 변형을 추가했습니다. CPU, Metal 및 CUDA에서 검증되었습니다. 협력자: dsh: llama.cpp/ggml-org/Qwen3.8-Flash-Next-GGUF(RTX 5090 32GB, DDR5 128GB) * cuda : 비연속적인 뷰에서는 소프트캡 퓨전을 건너뜁니다 퓨전된 소프트캡 커널은 src와 w를 읽습니다

진행 상황 및 관련 보도
llama.cpp releases

b11922

tests : 학습된 모델에 대한 다중 시퀀스 분할 재생 및 부분 상태 케이스 수정 (#31216) * tests : 학습된 모델을 대상으로 한 다중 시퀀스 분할 재생 문제 수정 롤백 스냅샷은 롤백된 테일을 디코딩한 그래프에 의해 캡처되며, 참조 컨텍스트는 서로 다른 배치 형태로 동일한 접두사를 디코딩합니다. 두 상태는 마지막 비트에서 차이를 보이며, 학습된 모델은 재생되는 각 토큰마다 그 차이를 증폭시킵니다. 각 시퀀스의 첫 번째 재생 토큰만 비교한 뒤, 시퀀스-1 전용 테일 이전의 참조 컨텍스트에 롤백 상태를 복원합니다. 지원: dsh:llama.cpp/ggml-org/Qwen3.8-Flash-Next-GGUF (MacBook, M5 Max, 128GB) * tests : 분할 재생 시 비트 정확한 시퀀스-1 격리 요구 시퀀스 상태 저장은 항상 비트 손실 없이 이루어지지 않습니다—SWA로 마스크된 셀은 저장되지 않으므로, 나머지는 다시 로드합니다.

진행 상황 및 관련 보도
llama.cpp releases

b11921

llama : 메모리 인스턴스에서 더 이상 사용되지 않는 n_pad를 제거함 (#31200) 모든 호출자는 n_pad = 1을 전달하며, 유일한 두 사용자만 이를 256으로 클램프합니다. 해당 파라미터와 멤버들, 그리고 명백히 참인 kv_size 확인 문장을 삭제합니다. 지원: dsh:llama.cpp/ggml-org/Qwen3.8-Flash-Next-GGUF (MacBook, M5 Max, 128GB) **웹사이트:** - **인증서:** - **macOS/iOS:** - [macOS 애플 실리콘(arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b11921/llama-b11921-bin-macos-arm64.tar.gz) - macOS 애플 실리콘(arm64, KleidiAI 활성화) [비활성화](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS 인텔(x64)](https://github.com/ggml-org/llama.cpp/releases/download/b11921/llama-b11921-bin-macos-x64.tar.gz) - [iOS XCFramework](https://github.com/ggml-org/llama.cpp/releases/download/b11921/llama-b11921-xcfram)

진행 상황 및 관련 보도
llama.cpp releases

b11919

opencl: mul mat id -1 인덱스 개선 (#31170) 지원자: Codex **웹사이트:** - **인증서:** - **macOS/iOS:** - [macOS 애플 실리콘(arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b11919/llama-b11919-bin-macos-arm64.tar.gz) - macOS 애플 실리콘(arm64, KleidiAI 활성화) [비활성화](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS 인텔(x64)](https://github.com/ggml-org/llama.cpp/releases/download/b11919/llama-b11919-bin-macos-x64.tar.gz) - [iOS XCFramework](https://github.com/ggml-org/llama.cpp/releases/download/b11919/llama-b11919-xcframework.zip) **Linux:** - [Ubuntu x64(CPU)](https://github.com/ggml-org/llama.cpp/releases/download/b11919/llama-b11919-bin-ubuntu-x64.tar.gz) - [Ubuntu arm64(CPU)](https://github.com/ggml-org/llama.cpp/releases/download/b11)

진행 상황 및 관련 보도
llama.cpp releases

b11918

opencl: q3_k에 대한 초기 지원 (#31172) * opencl: q3_k AOS 이동 추가 * opencl: q3_k SOA 이동 및 타일링된 mm 추가 * opencl: adreno용 q3_k noshuffle gemm/gemv 추가 * opencl: adreno용 q3_k dp4a gemm 추가 공동 작성자: Hongqiang Wang * opencl: adreno용 q3_k 커널 최적화 공동 작성자: Hongqiang Wang --------- 공동 작성자: Hongqiang Wang **웹사이트:** - **인증서:** - **macOS/iOS:** - [macOS 애플 실리콘(arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b11918/llama-b11918-bin-macos-arm64.tar.gz) - macOS 애플 실리콘(arm64, KleidiAI 활성화) [비활성화](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS 인텔(x64)](https://github.com/ggml-org/llama.cpp/releases/download/b11918/llama-b11918-bin-macos-x64.tar.gz) - [iOS XCFramework](https://github.com/ggml-org/ll)

진행 상황 및 관련 보도
llama.cpp releases

b11913

hexagon: GGML_HEXAGON_VTCM_SIZE 추가 (#31221) * hexagon: GGML_HEXAGON_VTCM_MB 및 GGML_HEXAGON_NTHREADS 상한 추가 Change-Id: Idffe1613c8db6f96aa842d43d1b2efaed45462a8 * hexagon: VTCM 상한을 GGML_HEXAGON_VTCM_SIZE으로 이름 변경하고, NTHREADS 상한은 삭제 Change-Id: If4c5b9ce9fd6b725c3561421c2295d40599d012d * hexagon: GGML_HEXAGON_VTCM_SIZE을 오버라이드로 설정하고, K/M/G 접미사 지원 Change-Id: Ib8eea84c22f24e6d986b37f215e504b046478c2c **웹사이트:** - **인증서:** - **macOS/iOS:** - [macOS 애플 실리콘(arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b11913/llama-b11913-bin-macos-arm64.tar.gz) - macOS 애플 실리콘(arm64, KleidiAI 활성화) [비활성화](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS 인텔(x64)](https://github.com/ggml-org/llama.cpp/releases/download/b11913/llama-b)

진행 상황 및 관련 보도
llama.cpp releases

b11912

llama : laguna에 대해 moe amax 리스케일링을 활성화합니다(#31147) * llama : laguna에 대해 moe amax 리스케일링을 활성화합니다 지원자: Devin * llama : laguna의 sm 텐서 지원을 선언합니다 **웹사이트:** - **인증서:** - **macOS/iOS:** - [macOS 애플 실리콘(arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b11912/llama-b11912-bin-macos-arm64.tar.gz) - macOS 애플 실리콘(arm64, KleidiAI 활성화) [비활성화됨](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS 인텔(x64)](https://github.com/ggml-org/llama.cpp/releases/download/b11912/llama-b11912-bin-macos-x64.tar.gz) - [iOS XCFramework](https://github.com/ggml-org/llama.cpp/releases/download/b11912/llama-b11912-xcframework.zip) **Linux:** - [Ubuntu x64(CPU)](https://github.com/ggml-org/llama.cpp/releases/download/b11912/llama-b11912-bin-u)

진행 상황 및 관련 보도
llama.cpp releases

b11910

opencl: set_tensor에 KV 캐시 뷰를 작성하여 상태 복원이 중단되지 않도록 수정 (#30471) **웹사이트:** - **인증서:** - **macOS/iOS:** - [macOS 애플 실리콘(arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b11910/llama-b11910-bin-macos-arm64.tar.gz) - macOS 애플 실리콘(arm64, KleidiAI 활성화) [비활성화](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS 인텔(x64)](https://github.com/ggml-org/llama.cpp/releases/download/b11910/llama-b11910-bin-macos-x64.tar.gz) - [iOS XCFramework](https://github.com/ggml-org/llama.cpp/releases/download/b11910/llama-b11910-xcframework.zip) **Linux:** - [Ubuntu x64(CPU)](https://github.com/ggml-org/llama.cpp/releases/download/b11910/llama-b11910-bin-ubuntu-x64.tar.gz) - [Ubuntu arm64(CPU)](https://github.com/ggml-org/llama.cp)

진행 상황 및 관련 보도
llama.cpp releases

b11909

hexagon: MUL_MAT_ID 행 건너뛰기 최적화 및 개선(#31169) * hex-mmid: 건너뛴 행의 영값 초기화를 벡터화하고, 융합된 MM_ID_NX에도 영값 초기화 기능을 추가 * hex-mmid: 스칼라 나눗셈 제거 **웹사이트:** - **인증서:** - **macOS/iOS:** - [macOS 애플 실리콘(arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b11909/llama-b11909-bin-macos-arm64.tar.gz) - macOS 애플 실리콘(arm64, KleidiAI 활성화) [비활성화](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS 인텔(x64)](https://github.com/ggml-org/llama.cpp/releases/download/b11909/llama-b11909-bin-macos-x64.tar.gz) - [iOS XCFramework](https://github.com/ggml-org/llama.cpp/releases/download/b11909/llama-b11909-xcframework.zip) **Linux:** - [Ubuntu x64(CPU)](https://github.com/ggml-org/llama.cpp/releases/download/b11909/)

진행 상황 및 관련 보도
llama.cpp releases

b11908

llama : llama_hparams에서 no_alloc을 이동 (#31141) * llama : llama_hparams에서 no_alloc을 이동 보조자: dsh:llama.cpp/ggml-org/GLM-5.3-Flash-GGUF (2x DGX Spark (RDMA, TP=2)) * cont : 정리 * cont : 정리 보조자: dsh:llama.cpp/ggml-org/GLM-5.3-Flash-GGUF (2x DGX Spark (RDMA, TP=2)) * tests : test-llama-context에 no_alloc 케이스 추가 보조자: dsh:llama.cpp/ggml-org/GLM-5.3-Flash-GGUF (2x DGX Spark (RDMA, TP=2)) **웹사이트:** - **인증서:** - **macOS/iOS:** - [macOS Apple Silicon (arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b11908/llama-b11908-bin-macos-arm64.tar.gz) - macOS Apple Silicon (arm64, KleidiAI 활성화) [비활성화](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS Intel (x64)](https://github.com/ggml-org/llama.cpp/releases/downlo)

진행 상황 및 관련 보도
llama.cpp releases

b11907

모델: ggml_tensor** 출력 매개변수를 출력 구조체로 대체(#31142) 하이퍼 커넥션 및 DSA 그래프 빌더들은 추가 출력(포스트/콤비 게이트, 상위 k 선택 항목 전달, 인젝트 게이트)을 ggml_tensor** 출력 매개변수를 통해 작성해 왔습니다. 이제는 이를 주요 출력 옆에 위치한 작은 구조체로 반환하도록 수정했습니다. 지원자: dsh:llama.cpp/ggml-org/Qwen3.8-Flash-Next-GGUF (맥북, M5 맥스, 128GB) **웹사이트:** - **인증서:** - **macOS/iOS:** - [macOS 애플 실리콘(arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b11907/llama-b11907-bin-macos-arm64.tar.gz) - macOS 애플 실리콘(arm64, KleidiAI 활성화) [비활성화](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS 인텔(x64)](https://github.com/ggml-org/llama.cpp/releases/download/b11907/llama-b11907-bin-macos-x64.tar.gz) - [

진행 상황 및 관련 보도
llama.cpp releases

b11906

ggml-cpu : 모든 타입에 대해 concat을 단일 행 커널로 재구현 (#31179) 모든 대상 행은 소스0 또는 소스1에서 나올 수 있으며, 차원이 0인 경우에는 소스0의 행 뒤에 소스1의 행이 이어지는 형태로 생성되므로, 하나의 커널로 모든 타입을 처리할 수 있습니다. 즉, 밀집형 소스 행은 컴파일 시 요소 크기가 알려진 상태에서 단일 memcpy로 처리되며, 양자화된 타입도 포함됩니다. 또한 스트라이드가 적용된 소스는 컴파일 시점에 요소 크기가 확정되어 요소별로 일일이 복사됩니다. 행들은 i2만으로 처리되는 경우보다 스레드 간에 분산되어 처리되며, 일반적으로 i2 값은 1인 경우가 많습니다. 그리고 행들은 32개씩 나누어 타일 단위로 복사됩니다. 전치된 소스의 경우 외부 루프에서 요소를 순회하므로, 한 타일 내의 각 행은 요소마다 전체 행 스트라이드를 건너뛰는 방식이 아니라 인접한 주소를 읽게 됩니다. test_concat 테스트에 전치된 b 케이스와 델타넷 합성곱 입력의 레이아웃을 추가하고, 이에 대한 성능 테스트 케이스도 마련했습니다. **웹사이트:** - **인증서:** - **macOS/iOS:** - [macOS Apple Sili

진행 상황 및 관련 보도
llama.cpp releases

b11905

vulkan: 서브그룹 리덕션을 이용한 rms 노름 최적화(#29882) * RMS 노름 서브그룹 리덕션 최적화 * 빌드 오류 수정 * 개선된 최적화 * BLOCK_SIZE의 사용을 일관되게 유지 * 2차 서브그룹 추가를 건너뛰는 고속 경로 추가 * 서브그룹 리덕션 옵트에 AMD 벤더 추가 * rms_dict와 merge_maps의 동작을 명확히 하는 주석 추가 * unroll 추가 * 재베이스 * 구문 문제 수정 * 비서브그룹 경로에 128/256/512 블록 크기 추가 * 후행 공백 제거 **웹사이트:** - **인증서:** - **macOS/iOS:** - [macOS 애플 실리콘(arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b11905/llama-b11905-bin-macos-arm64.tar.gz) - macOS 애플 실리콘(arm64, KleidiAI 활성화) [비활성화](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS 인텔(x64)](https://github.com/ggml-org/llama.c)

진행 상황 및 관련 보도
llama.cpp releases

b11904

sycl: 일반 MMVQ 실행 트리플을 템플릿화합니다 (#31013) **웹사이트:** - **인증서:** - **macOS/iOS:** - [macOS 애플 실리콘(arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b11904/llama-b11904-bin-macos-arm64.tar.gz) - macOS 애플 실리콘(arm64, KleidiAI 활성화) [비활성화](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS 인텔(x64)](https://github.com/ggml-org/llama.cpp/releases/download/b11904/llama-b11904-bin-macos-x64.tar.gz) - [iOS XCFramework](https://github.com/ggml-org/llama.cpp/releases/download/b11904/llama-b11904-xcframework.zip) **Linux:** - [Ubuntu x64(CPU)](https://github.com/ggml-org/llama.cpp/releases/download/b11904/llama-b11904-bin-ubuntu-x64.tar.gz) - [Ubuntu arm64(CPU)](https://github.com/ggml-org/llama.cpp/releases/download/b11904/llama)

진행 상황 및 관련 보도
llama.cpp releases

b11901

sycl : 바운드 재정렬 임시 메모리를 32 MiB로 설정 (#31062) **웹사이트:** - **인증서:** - **macOS/iOS:** - [macOS 애플 실리콘(arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b11901/llama-b11901-bin-macos-arm64.tar.gz) - macOS 애플 실리콘(arm64, KleidiAI 활성화) [비활성화](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS 인텔(x64)](https://github.com/ggml-org/llama.cpp/releases/download/b11901/llama-b11901-bin-macos-x64.tar.gz) - [iOS XCFramework](https://github.com/ggml-org/llama.cpp/releases/download/b11901/llama-b11901-xcframework.zip) **Linux:** - [Ubuntu x64(CPU)](https://github.com/ggml-org/llama.cpp/releases/download/b11901/llama-b11901-bin-ubuntu-x64.tar.gz) - [Ubuntu arm64(CPU)](https://github.com/ggml-org/llama.cpp/releases/download/b11901/llama-b)

진행 상황 및 관련 보도

llama.cpp releases

b11900

common: 실제 HF 리포지토리 레이아웃에서 핀 모델 해상도(#30548) * tests: 실제 리포지토리 목록에서 핀 모델 해상도 1237개의 주요 출판사 GGUF 리포지토리에서 발견된 모든 파일 이름 패턴을 포괄하도록 선정하고, 전체 퀀트 그룹으로 간추린 후 HF API로부터 원문 그대로 캡처한 63개의 리포지토리 목록을 추가하여 test-model-resolution을 확장합니다. 각 리포지토리는 해결된 계획과 캐시 목록을 고정합니다. 기대값은 현재 해상도 처리기가 선택하는 값이 아니라 각 파일의 GGUF 헤더에 따라 실제로 무엇인지에 기반하므로, 불일치는 해상도 버그로 간주됩니다. 불일치 사례는 테스트가 실패하기 전에 함께 수집되어 보고됩니다. * tests: 파일 시스템이 거부하는 경로에서는 목록 표시를 비활성화합니다 일부 실제 분할된 이름(퀀트 폴더 아래에 있는 DevQuasar의 Model.Q2_K.gguf-00001-of-00012.gguf)은 물리적으로 적용된 후 MAX_PATH 제한을 초과합니다

진행 상황 및 관련 보도
llama.cpp releases

b11899

mtmd: mtmd_helper_get_capabilities 추가 (#31183) * mtmd: mtmd_helper_get_capabilities 추가 * cap audio_stream * 호환성을 위해 기존 API 복구 * audio_gen_spk_ref, text_gen **웹사이트:** - **인증서:** - **macOS/iOS:** - [macOS 애플 실리콘(arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b11899/llama-b11899-bin-macos-arm64.tar.gz) - macOS 애플 실리콘(arm64, KleidiAI 활성화) [비활성화](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS 인텔(x64)](https://github.com/ggml-org/llama.cpp/releases/download/b11899/llama-b11899-bin-macos-x64.tar.gz) - [iOS XCFramework](https://github.com/ggml-org/llama.cpp/releases/download/b11899/llama-b11899-xcframework.zip) **Linux:** - [Ubuntu x64(CPU)](https://github.com/ggml-org/llama.cpp/releases/download/b11899/llama-b11899-)

진행 상황 및 관련 보도