전체 AI 소식

b11927

metal : GGML_OP_TOP_K_MASK 추가 (#31230) * metal : GGML_OP_TOP_K_MASK 추가 CUDA 백엔드에서 퓨즈된 top-k 마스크를 이식함: 그리드 스트라이드 커널이 출력을 -inf로 채운 뒤, 각 행마다 하나의 스레드그룹이 유지되는 셀들의 마스크 값을 복사하여 덮어쓴다. 함수 상수는 특정 그래프가 사용하지 않는 점수, 블록 및 추가 경로를 제거한다. 협력자: dsh:llama.cpp/ggml-org/Qwen3.8-Flash-Next-GGUF (MacBook, M5 Max, 128GB) * metal : top-k 마스크 커널 포맷 정리 협력자: dsh:llama.cpp/ggml-org/Qwen3.8-Flash-Next-GGUF (MacBook, M5 Max, 128GB) **웹사이트:** - **인증서:** - **macOS/iOS:** - [macOS 애플 실리콘(arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b11927/llama-b11927-bin-macos-arm64.tar.gz) - macOS 애플 실리콘(arm64, KleidiAI 활성화) [비활성화](

엔비디아, 기업들이 더 적은 GPU로 AI 모델을 실행할 수 있도록 지원하는 인도 스타트업을 후원

심플리스마트는 연간화된 매출액이 6개월 만에 14배로 증가했으며, 미국 시장이 전체 매출의 절반 이상을 차지한다고 밝혔습니다.

b11926

glm5-next : kq_mask가 없는 QSA (+ DSA) (#31009) * glm5-next : kq_mask가 없는 QSA * DSA: dsa top-k 마스크 변경이 DeepSeek-V3.2의 레이어 0과 3에서 테스트됨 **웹사이트:** - **인증서:** - **macOS/iOS:** - [macOS 애플 실리콘(arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b11926/llama-b11926-bin-macos-arm64.tar.gz) - macOS 애플 실리콘(arm64, KleidiAI 활성화) [비활성화](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS 인텔(x64)](https://github.com/ggml-org/llama.cpp/releases/download/b11926/llama-b11926-bin-macos-x64.tar.gz) - [iOS XCFramework](https://github.com/ggml-org/llama.cpp/releases/download/b11926/llama-b11926-xcframework.zip) **Linux:** - [Ubuntu x64(CPU)](https://github.com/ggml-org/llama.cpp/releases/download/b11926/llama-b11926-bin-ubuntu-x64.t)

로키드(Rokid)가 AI 웨어러블 신제품 3종을 출시하며 디스플레이 및 인터랙션 솔루션을 확장했습니다.

10월 27일, 락이드(Rokid)는 AI 안경 Rokid Glasses 2, 풀 컬러 AI 안경 Rokid Color 및 인터랙티브 링 Rokid Ring을 출시했습니다.

홍콩거래소 AI 지수가 등장했고, 남방펀드가 먼저 나섰다: 이 카드는 얼마나 다중적인가?

지수 상장 및 ETF 승인으로, 홍콩 증시의 AI와 반도체 분야에 새로운 배치 도구와 자금 유입이 열렸다.

개발자는 AI 시대의 기반 혜택을 어떻게 포착할 수 있을까요? CEIC×1024 선전 특별 행사에서 AI와 홍멍 개발의 신인프라를 해부합니다.

2026년 창사·1024 프로그래머의 날 행사 기간 동안, CEIC 소비자 전자 혁신 컨퍼런스와 CSDN은 선전에서 개발자들을 위한 강력한 기술 축제를 공동으로 개최했습니다. CEIC 조직위원회 상임 부주임 양타오가 인터뷰에서 밝힌 바와 같이: “소비자 전자 분야의 모든 경험 혁신은 결국 우리 프로그래머들이 작성한 코드에서 비롯됩니다.” 현재 기술의 전환점에 있어, 단순한 수기 코드 작성에서부터 지능형 에이전트(Agent)와 풍부한 엣지 측 AP를 활용하는 방식으로...

데이터센터 확장이 미국 전역의 지역 반대를 촉발하며 2026년 중간선거의 핵심 이슈로 부상했다.

The Verge의 2026년 10월 27일 보도에 따르면, 미국 전역의 지역사회에서 데이터센터 대규모 건설과 이를 뒷받침하는 인프라 비용 급증으로 인해 광범위한 반대가 촉발되었으며, 이 문제는 이미 여러 의회 및 주지사 선거에 깊이 개입하고 있다. 기술 자본의 진입이 가속화되면서, 마크 앤더슨과 그레그 브록먼이 후원하는 슈퍼 정치행동위원회 ‘Leading the Future’는 1년 만에 4,500만 달러를 투입했고, 앤트로픽이 지원하는 ‘Public First Action’ 또한 이에 참여하고 있다.

추천 이유：자료 출처가 명확하며(더 버지), 게시일이 현재 시스템 시간과 일치합니다(2026-10-27). 내용은 검증 가능한 공공 정책 및 선거 동향에 초점을 맞추고 있으며, 구체적인 주체, 금액, 시점 및 조직 간 관계를 포함하고 있어 시의성과 사실 기반의 요구사항을 충족합니다.

b11925

ci : ROCm 릴리스 빌드에 대해 ccache depend 모드 사용 (#31231) **웹사이트:** - **인증서:** - **macOS/iOS:** - [macOS 애플 실리콘(arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b11925/llama-b11925-bin-macos-arm64.tar.gz) - macOS 애플 실리콘(arm64, KleidiAI 활성화) [비활성화](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS 인텔(x64)](https://github.com/ggml-org/llama.cpp/releases/download/b11925/llama-b11925-bin-macos-x64.tar.gz) - [iOS XCFramework](https://github.com/ggml-org/llama.cpp/releases/download/b11925/llama-b11925-xcframework.zip) **Linux:** - [Ubuntu x64(CPU)](https://github.com/ggml-org/llama.cpp/releases/download/b11925/llama-b11925-bin-ubuntu-x64.tar.gz) - [Ubuntu arm64(CPU)](https://github.com/ggml-org/llama.cpp/releases/download/b1192)

b11923

ggml : 비연속적인 뷰에 대해 스케일을 완화합니다(#31146) * ggml : 비연속적인 뷰에 대해 스케일을 완화합니다 SCALE은 src0이 1차원 연속성을 갖도록 요구합니다. 이를 임의의 행 스트라이드를 허용하는 차원-0 연속성으로 완화하여(Metal 백엔드의 단항 연산과 동일), ggml_is_contiguous_rows를 사용합니다. - ggml: ggml_scale_impl에서의 assert를 완화합니다 - cpu: src0의 행을 바이트 스트라이드에 따라 접근합니다(f32, bf16) - cuda: 스트라이드를 인식하는 커널, fastdiv 행 분해 - metal: bf16 스케일을 지원합니다(보호된 단항 인스턴시아이션) - sycl: 게이트는 연속적으로 유지하되, 커널은 평면 f32로 구현합니다 test_scale에 뷰 변형을 추가했습니다. CPU, Metal 및 CUDA에서 검증되었습니다. 협력자: dsh: llama.cpp/ggml-org/Qwen3.8-Flash-Next-GGUF(RTX 5090 32GB, DDR5 128GB) * cuda : 비연속적인 뷰에서는 소프트캡 퓨전을 건너뜁니다 퓨전된 소프트캡 커널은 src와 w를 읽습니다

b11922

tests : 학습된 모델에 대한 다중 시퀀스 분할 재생 및 부분 상태 케이스 수정 (#31216) * tests : 학습된 모델을 대상으로 한 다중 시퀀스 분할 재생 문제 수정 롤백 스냅샷은 롤백된 테일을 디코딩한 그래프에 의해 캡처되며, 참조 컨텍스트는 서로 다른 배치 형태로 동일한 접두사를 디코딩합니다. 두 상태는 마지막 비트에서 차이를 보이며, 학습된 모델은 재생되는 각 토큰마다 그 차이를 증폭시킵니다. 각 시퀀스의 첫 번째 재생 토큰만 비교한 뒤, 시퀀스-1 전용 테일 이전의 참조 컨텍스트에 롤백 상태를 복원합니다. 지원: dsh:llama.cpp/ggml-org/Qwen3.8-Flash-Next-GGUF (MacBook, M5 Max, 128GB) * tests : 분할 재생 시 비트 정확한 시퀀스-1 격리 요구 시퀀스 상태 저장은 항상 비트 손실 없이 이루어지지 않습니다—SWA로 마스크된 셀은 저장되지 않으므로, 나머지는 다시 로드합니다.

b11921

llama : 메모리 인스턴스에서 더 이상 사용되지 않는 n_pad를 제거함 (#31200) 모든 호출자는 n_pad = 1을 전달하며, 유일한 두 사용자만 이를 256으로 클램프합니다. 해당 파라미터와 멤버들, 그리고 명백히 참인 kv_size 확인 문장을 삭제합니다. 지원: dsh:llama.cpp/ggml-org/Qwen3.8-Flash-Next-GGUF (MacBook, M5 Max, 128GB) **웹사이트:** - **인증서:** - **macOS/iOS:** - [macOS 애플 실리콘(arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b11921/llama-b11921-bin-macos-arm64.tar.gz) - macOS 애플 실리콘(arm64, KleidiAI 활성화) [비활성화](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS 인텔(x64)](https://github.com/ggml-org/llama.cpp/releases/download/b11921/llama-b11921-bin-macos-x64.tar.gz) - [iOS XCFramework](https://github.com/ggml-org/llama.cpp/releases/download/b11921/llama-b11921-xcfram)

b11919

opencl: mul mat id -1 인덱스 개선 (#31170) 지원자: Codex **웹사이트:** - **인증서:** - **macOS/iOS:** - [macOS 애플 실리콘(arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b11919/llama-b11919-bin-macos-arm64.tar.gz) - macOS 애플 실리콘(arm64, KleidiAI 활성화) [비활성화](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS 인텔(x64)](https://github.com/ggml-org/llama.cpp/releases/download/b11919/llama-b11919-bin-macos-x64.tar.gz) - [iOS XCFramework](https://github.com/ggml-org/llama.cpp/releases/download/b11919/llama-b11919-xcframework.zip) **Linux:** - [Ubuntu x64(CPU)](https://github.com/ggml-org/llama.cpp/releases/download/b11919/llama-b11919-bin-ubuntu-x64.tar.gz) - [Ubuntu arm64(CPU)](https://github.com/ggml-org/llama.cpp/releases/download/b11)

b11918

opencl: q3_k에 대한 초기 지원 (#31172) * opencl: q3_k AOS 이동 추가 * opencl: q3_k SOA 이동 및 타일링된 mm 추가 * opencl: adreno용 q3_k noshuffle gemm/gemv 추가 * opencl: adreno용 q3_k dp4a gemm 추가 공동 작성자: Hongqiang Wang * opencl: adreno용 q3_k 커널 최적화 공동 작성자: Hongqiang Wang --------- 공동 작성자: Hongqiang Wang **웹사이트:** - **인증서:** - **macOS/iOS:** - [macOS 애플 실리콘(arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b11918/llama-b11918-bin-macos-arm64.tar.gz) - macOS 애플 실리콘(arm64, KleidiAI 활성화) [비활성화](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS 인텔(x64)](https://github.com/ggml-org/llama.cpp/releases/download/b11918/llama-b11918-bin-macos-x64.tar.gz) - [iOS XCFramework](https://github.com/ggml-org/ll)

vLLM 시맨틱 라우터, d3-ultra 출시: 27B 규모의 오픈형 멀티모달 의사결정 모델

vLLM 시맨틱 라우터가 27B 규모의 오픈 웨이트 멀티모달 의사결정 모델인 d3-ultra를 출시했습니다. 이 모델은 텍스트, 이미지 및 비디오를 한 번에 처리한 뒤 모든 답변에 대한 확률을 반환하며, 팀의 SR-Text 테스트에서 87.2점을 기록했습니다. 해당 게시물 “vLLM 시맨틱 라우터, 27B 규모의 오픈 멀티모달 의사결정 모델 d3-ultra 출시”는 MarkTechPost에 처음 게재되었습니다.

LooseLeaf: 컴퓨팅 노트북을 위한 서버리스 GPU 지원

arXiv:2610.33275v1 발표 유형: 신규 초록: 컴퓨팅 노트북은 세션 전체 동안 GPU를 할당하지만, GPU는 셀이 실행되는 동안에만 계산을 수행하고 그 외에는 대기 상태로 남아 있습니다. 서버리스 실행 방식을 사용하면 셀 간에 GPU 자원을 해제할 수 있지만, 새로 생성된 워커에서 누적된 노트북 상태를 다시 구축하는 과정은 각 GPU 셀마다 상당한 비용을 초래합니다. 본 논문에서는 대화형 노트북을 위한 서버리스 GPU 플랫폼인 LooseLeaf를 제안합니다. LooseLeaf는 각 셀의 상태와 import 클로저를 추출하며, 해당 셀이 필요로 하는 최소한의 변수와 패키지를 파악합니다. 실제 사례 5,000개의 노트북을 대상으로 한 분석 결과, 이러한 클로저는 크기가 작으며, 사용자가 셀을 편집하는 동안에도 이를 준비하는 데 몇 초밖에 걸리지 않는 것으로 나타났습니다. LooseLeaf는 사용자가 셀을 편집하는 동안 이러한 클로저를 포함한 GPU 워커를 미리 준비합니다. 실행이 완료된 후, 워커는…

클라우드의 LLM: 아키텍처, 오케스트레이션 및 추론에 관한 논의

arXiv:2610.33475v1 발표 유형: 신규 초록: 클라우드 데이터센터 전반에 걸쳐 기반 대규모 언어 모델(LLM)이 광범위하게 배치됨에 따라, 무상태 딥러닝에서 분산형·메모리 집약적 생성 워크로드로의 근본적인 패러다임 전환이 이루어지고 있습니다. 그러나 엄격한 서비스 수준 목표(SLO) 하에서 대규모 기반 모델을 서비스하는 과정에서는 중요한 물리적 및 시스템 병목 현상이 드러납니다. 이러한 도전 과제에는 지속적인 고대역폭 메모리(HBM) 장벽, 연산 중심의 프리필링과 메모리 대역폭 중심의 디코딩 간의 운영 비대칭성, 폭발적으로 증가하는 키-값(KV) 캐시, 부담스러운 서버리스 콜드 스타트, 그리고 하드웨어 신뢰성 취약점 등이 포함됩니다. 기존 문헌 리뷰들은 여전히 계층별로 분리되어 있어, 저수준 가속기 가상화와 클러스터를 서로 분리하고 있습니다.

듀얼페이스: LLM 서비스를 위한 분리형 스케줄링 및 협력적 GPU–CPU 디코딩

arXiv:2610.33501v1 발표 유형: 신규 초록: 대규모 언어 모델(LLM) 서비스는 추론 처리량을 높이기 위해 배치 처리에 의존하지만, 키-값(KV) 캐시는 시퀀스 길이와 함께 증가하여 GPU 상주 동시성을 제한한다. CPU 오프로드를 통해 호스트 메모리를 활용하면 KV 용량을 확장할 수 있지만, 기존 시스템은 여전히 대부분 GPU 중심으로 작동한다: CPU 상주 요청은 GPU 스케줄러가 적절한 겹침 기회를 제공할 때에만 진행된다. 그 결과, 호스트 메모리와 CPU 연산은 독립적인 서비스 자원으로 작용하지 못하며, 이로 인해 부하 하에서 CPU 측 진행이 간헐적으로 발생하고 꼬리 부분의 토큰 간 지연(ITL)이 부풀어 오르게 된다. 우리는 호스트를 독립적으로 스케줄링되는 디코딩 엔진으로 전환하는 LLM 서비스 런타임인 DualPace를 제안한다. DualPace는 두 개의 엔진 간에 스케줄링 권한을 분리한다: GPU 엔진

b11913

hexagon: GGML_HEXAGON_VTCM_SIZE 추가 (#31221) * hexagon: GGML_HEXAGON_VTCM_MB 및 GGML_HEXAGON_NTHREADS 상한 추가 Change-Id: Idffe1613c8db6f96aa842d43d1b2efaed45462a8 * hexagon: VTCM 상한을 GGML_HEXAGON_VTCM_SIZE으로 이름 변경하고, NTHREADS 상한은 삭제 Change-Id: If4c5b9ce9fd6b725c3561421c2295d40599d012d * hexagon: GGML_HEXAGON_VTCM_SIZE을 오버라이드로 설정하고, K/M/G 접미사 지원 Change-Id: Ib8eea84c22f24e6d986b37f215e504b046478c2c **웹사이트:** - **인증서:** - **macOS/iOS:** - [macOS 애플 실리콘(arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b11913/llama-b11913-bin-macos-arm64.tar.gz) - macOS 애플 실리콘(arm64, KleidiAI 활성화) [비활성화](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS 인텔(x64)](https://github.com/ggml-org/llama.cpp/releases/download/b11913/llama-b)

b11912

llama : laguna에 대해 moe amax 리스케일링을 활성화합니다(#31147) * llama : laguna에 대해 moe amax 리스케일링을 활성화합니다 지원자: Devin * llama : laguna의 sm 텐서 지원을 선언합니다 **웹사이트:** - **인증서:** - **macOS/iOS:** - [macOS 애플 실리콘(arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b11912/llama-b11912-bin-macos-arm64.tar.gz) - macOS 애플 실리콘(arm64, KleidiAI 활성화) [비활성화됨](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS 인텔(x64)](https://github.com/ggml-org/llama.cpp/releases/download/b11912/llama-b11912-bin-macos-x64.tar.gz) - [iOS XCFramework](https://github.com/ggml-org/llama.cpp/releases/download/b11912/llama-b11912-xcframework.zip) **Linux:** - [Ubuntu x64(CPU)](https://github.com/ggml-org/llama.cpp/releases/download/b11912/llama-b11912-bin-u)

앤타로픽은 AI 붐을 뒷받침하기 위해 가스를 연소하고 있다

상장 준비를 앞두고, 앤트로픽의 S-1 서류는 생성형 AI가 메탄에 의존하고 있음을 여실히 드러냅니다. “전력 공급과 충분한 전력 가용성을 갖춘 데이터센터 입지 확보를 둘러싼 경쟁은 치열합니다.” 월요일 미국 증권거래위원회에 제출된 문서에서 앤트로픽은 데이터센터들이 점점 더 “천연가스”에 의존하고 있음을 인정했습니다 […]