본문으로 건너뛰기
AI NEWS JOURNAL
AI, IN PERSPECTIVE

AI 뉴스 검색

제목, 요약, 본문을 검색해 흩어진 정보를 연결하세요.

발행 시간순

llama.cpp · b12031

opencl: 초기 iq3 지원 추가 (#31338) * opencl: iq3_s AOS mv 추가, Assisted-by: Codex * opencl: iq3_s SOA mv 및 타일링된 mm 추가, Assisted-by: Codex * opencl: adreno용 iq3_s noshuffle gemm/gemv 추가, Co-authored-by: Shaofei Qi, Assisted-by: Codex * opencl: adreno용 iq3_s dp4a 추가, Co-authored-by: Shaofei Qi, Assisted-by: Codex * opencl: adreno의 iq3_s 디코딩과 배치 축소 최적화, Co-authored-by: Shaofei Qi, Assisted-by: Codex * opencl: iq3_xxs AOS mv 추가, Assisted-by: Codex * opencl: iq3_xxs SOA mv 및 타일링된 mm 추가, Assisted-by: Codex * opencl: adreno용 iq3_xxs noshuffle gemm/gemv 추가, Co-authored-by: Shaofei Qi, Assisted-by: Codex * opencl: adreno용 iq3_xxs dp4a 추가, Co-authored-by: Shaofei Qi, Assisted-by: Codex * opencl: adreno의 iq3_xxs 디코딩과 배치 축소 최적화, Co-authored-by: Sha

진행 상황 및 관련 보도

b12007

kv-cache : GPU에서 회전 상수를 유지 (#31073) * kv-cache : GPU에서 회전 상수를 유지 도움말: Codex * tests : 상주하는 KV 회전 버퍼 검증 도움말: Codex * kv-cache : 남아 있는 다중 디바이스 회전 작업 문서화 도움말: Codex * kv-cache : 레이어별 회전 버퍼 지원 도움말: Codex * kv-cache : 하이브리드 SWA 회전 입력 및 혼합 배치 확인 수정 도움말: Codex * models : mistral-large4와 dflash에서 레이어별 회전 사용 * tests: 회전 버퍼 테스트 삭제 --------- 공동 작성자: Pascal **웹사이트:** - **인증서:** - **macOS/iOS:** - [macOS 애플 실리콘(arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b12007/llama-b12007-bin-macos-arm64.tar.gz) - macOS 애플 실리콘(arm64, KleidiAI 활성화) [비활성화](ht

진행 상황 및 관련 보도

b12005

opencl: q2_0 초기 지원 추가 (#31340) * opencl: q2_0 AOS 이동 추가 공동 작성자: Shaofei Qi 보조 작성자: Codex * opencl: q2_0 SOA 이동 및 타일링된 mm 추가 공동 작성자: Shaofei Qi 보조 작성자: Codex * opencl: adreno용 q2_0 noshuffle gemm/gemv 추가 보조 작성자: Codex * opencl: adreno용 q2_0 dp4a 추가 * opencl: adreno의 q2_0 디코딩 및 좁은 배치 최적화 --------- 공동 작성자: Li He **웹사이트:** - **인증서:** - **macOS/iOS:** - [macOS 애플 실리콘(arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b12005/llama-b12005-bin-macos-arm64.tar.gz) - macOS 애플 실리콘(arm64, KleidiAI 활성화) [비활성화](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS 인텔(x64)](https://github.com/ggml-org/llama.cpp/releases/download/b12005/llama-b12005-bin-macos-x64.tar.g

진행 상황 및 관련 보도