AI 뉴스 검색

언더독 살루키 27B: GSQ-RCO 기반 2비트 Qwen3.8-27B 도구 호출 모델 기술 분석

이 글에서는 Underdog가 발표한 Saluki 27B 모델을 소개합니다. 이 모델은 7.9 GB 크기의 2비트 양자화 Qwen3.8-27B 변형으로, ISTA-DASLab의 GSQ-RCO 방법을 기반으로 구축되었으며, 120개의 작업에 대한 BFCL v4 도구 호출 벤치마크에서 원래의 54 GB 풀 정밀도 모델을 능가한다고 주장됩니다. 다만 모든 성능 관련 결론은 해당 개발자의 발표에 근거한 것으로, 독립적인 검증은 이루어지지 않았습니다.

llama.cpp 发布 b11869 版本：修复 Jinja 模板函数参数处理，新增多平台二进制支持

llama.cpp 项目发布构建版本 b11869，主要修复 Jinja 模板中 select 和 selectattr 函数的参数解析逻辑，并提供覆盖 macOS、Linux、Windows、Android、iOS 及 openEuler 的数十种硬件与后端组合的预编译二进制包。

추천 이유：按信源设置仅收录，不参与自动精选

llama.cpp 发布 b11865 版本：新增 RDMA 接收边界检查，支持 CUDA 13.4、ROCm 10.0、Snapdragon NPU 等多平台后端

llama.cpp 项目发布构建版本 b11865，核心变更包括在 RDMA 接收逻辑中增加内存边界检查（PR #30399），并显著扩展硬件加速支持，覆盖 CUDA 13.4、ROCm 10.0、Vulkan、OpenVINO、SYCL 及高通 Snapdragon（CPU+Adreno+Hexagon）全栈异构计算后端；macOS KleidiAI 支持与 openEuler 构建被明确标记为 DISABLED。

추천 이유：按信源设置仅收录，不参与自动精选

Amazon SageMaker AI가 GPU 없이 관리되는 모델 맞춤형 교육 세션을 출시하며, 정식으로 전면적으로 이용 가능해졌습니다.

AWS는 SageMaker AI의 서버리스 모델 맞춤화 기능에 ‘훈련 세션(Training Sessions)’을 추가했다고 발표했으며, 이는 오늘부터 전면적으로 이용 가능하다. 사용자는 훈련 후 로직(예: 사용자 정의 손실 함수, 보상 신호, 다단계 강화학습 등)을 직접 작성할 수 있으며, GPU 할당, 분산 실행, 장애 복구 및 체크포인트 저장은 모두 플랫폼에서 자동으로 처리된다.

아마존 세이지메이커가 학습 세션 API를 출시했습니다: 사용자는 GPU를 관리할 필요 없이 맞춤형 대규모 모델 학습 루프를 작성할 수 있습니다.

아마존 세이지메이커는 트레이닝 세션(Training Sessions) API를 출시하여, 사용자가 순수 파이썬 스크립트로 SFT, RLHF, GRPO, KTO 등과 같은 맞춤형 대규모 모델 훈련 로직을 구현할 수 있도록 지원합니다. GPU 리소스 스케줄링, 장애 복구, 분산 실행 및 체크포인트 관리는 모두 서비스에서 관리합니다.