제목, 요약, 본문을 검색해 흩어진 정보를 연결하세요.
qwenGPU는 4개의 레인 SIMT GPU를 Qwen3.5-2B에 45개의 미훈련 레이어로 컴파일합니다. 이 모델은 Gated DeltaNet 상태를 레지스터와 메모리로 활용하여 실제 CUDA 실행의 모든 단계를 스스로 작성합니다. “qwenGPU를 만나보세요: CUDA를 실행하는 45개의 컴파일된 GPU 레이어를 갖춘 Qwen3.5-2B”라는 글은 MarkTechPost에 처음 게시되었습니다.
윤중이 아오페이스에서 보도한 내용 | QbitAI 공식 계정 작은 화면 하나, 세 개의 버튼, 그리고 한 개의 조이스틱. 화면 속 웨스트 하이랜드 화이트 테리어는 때로는 바쁘게 움직이고, 때로는 고민에 빠지며, 또 때로는 축하를 표합니다. 이것이 바로 샤오미가 최근에 탄생시킨 오픈소스 AI 하드웨어입니다....
opencl: 초기 iq3 지원 추가 (#31338) * opencl: iq3_s AOS mv 추가, Assisted-by: Codex * opencl: iq3_s SOA mv 및 타일링된 mm 추가, Assisted-by: Codex * opencl: adreno용 iq3_s noshuffle gemm/gemv 추가, Co-authored-by: Shaofei Qi, Assisted-by: Codex * opencl: adreno용 iq3_s dp4a 추가, Co-authored-by: Shaofei Qi, Assisted-by: Codex * opencl: adreno의 iq3_s 디코딩과 배치 축소 최적화, Co-authored-by: Shaofei Qi, Assisted-by: Codex * opencl: iq3_xxs AOS mv 추가, Assisted-by: Codex * opencl: iq3_xxs SOA mv 및 타일링된 mm 추가, Assisted-by: Codex * opencl: adreno용 iq3_xxs noshuffle gemm/gemv 추가, Co-authored-by: Shaofei Qi, Assisted-by: Codex * opencl: adreno용 iq3_xxs dp4a 추가, Co-authored-by: Shaofei Qi, Assisted-by: Codex * opencl: adreno의 iq3_xxs 디코딩과 배치 축소 최적화, Co-authored-by: Sha
kv-cache : GPU에서 회전 상수를 유지 (#31073) * kv-cache : GPU에서 회전 상수를 유지 도움말: Codex * tests : 상주하는 KV 회전 버퍼 검증 도움말: Codex * kv-cache : 남아 있는 다중 디바이스 회전 작업 문서화 도움말: Codex * kv-cache : 레이어별 회전 버퍼 지원 도움말: Codex * kv-cache : 하이브리드 SWA 회전 입력 및 혼합 배치 확인 수정 도움말: Codex * models : mistral-large4와 dflash에서 레이어별 회전 사용 * tests: 회전 버퍼 테스트 삭제 --------- 공동 작성자: Pascal **웹사이트:** - **인증서:** - **macOS/iOS:** - [macOS 애플 실리콘(arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b12007/llama-b12007-bin-macos-arm64.tar.gz) - macOS 애플 실리콘(arm64, KleidiAI 활성화) [비활성화](ht
opencl: q2_0 초기 지원 추가 (#31340) * opencl: q2_0 AOS 이동 추가 공동 작성자: Shaofei Qi 보조 작성자: Codex * opencl: q2_0 SOA 이동 및 타일링된 mm 추가 공동 작성자: Shaofei Qi 보조 작성자: Codex * opencl: adreno용 q2_0 noshuffle gemm/gemv 추가 보조 작성자: Codex * opencl: adreno용 q2_0 dp4a 추가 * opencl: adreno의 q2_0 디코딩 및 좁은 배치 최적화 --------- 공동 작성자: Li He **웹사이트:** - **인증서:** - **macOS/iOS:** - [macOS 애플 실리콘(arm64)](https://github.com/ggml-org/llama.cpp/releases/download/b12005/llama-b12005-bin-macos-arm64.tar.gz) - macOS 애플 실리콘(arm64, KleidiAI 활성화) [비활성화](https://github.com/ggml-org/llama.cpp/pull/23780) - [macOS 인텔(x64)](https://github.com/ggml-org/llama.cpp/releases/download/b12005/llama-b12005-bin-macos-x64.tar.g
지둥시(공식 계정: zhidxcom) 번역 | 황페이 편집 | 장위 지둥시 10월 28일 보도에 따르면, 오늘 The Information이 내부 소식통을 인용해 보도한 바에 따르면, OpenAI는 자사의 AI 모델 학습 및 추론 요구를 충족하기 위해 구글이 자체 개발한 AI 칩인 TPU(텐서 처리 유닛)를 구매할 계획이라고 한다. 현재 양측 간 잠재적 거래의 금액 및 기타 구체적인 세부 사항은 아직 공개되지 않았다. 만약 이 거래가 최종 성사된다면, 이는 구글의 AI 칩 사업에 있어 중요한 진전이 될 것이며, 동시에 엔...
AWS는 SageMaker AI의 서버리스 모델 맞춤화 기능에 ‘훈련 세션(Training Sessions)’을 추가했다고 발표했으며, 이는 오늘부터 전면적으로 이용 가능하다. 사용자는 훈련 후 로직(예: 사용자 정의 손실 함수, 보상 신호, 다단계 강화학습 등)을 직접 작성할 수 있으며, GPU 할당, 분산 실행, 장애 복구 및 체크포인트 저장은 모두 플랫폼에서 자동으로 처리된다.
