제목, 요약, 본문을 검색해 흩어진 정보를 연결하세요.
vLLM 시맨틱 라우터가 27B 규모의 오픈 웨이트 멀티모달 의사결정 모델인 d3-ultra를 출시했습니다. 이 모델은 텍스트, 이미지 및 비디오를 한 번에 처리한 뒤 모든 답변에 대한 확률을 반환하며, 팀의 SR-Text 테스트에서 87.2점을 기록했습니다. 해당 게시물 “vLLM 시맨틱 라우터, 27B 규모의 오픈 멀티모달 의사결정 모델 d3-ultra 출시”는 MarkTechPost에 처음 게재되었습니다.
징둥 광고는 화웨이 쿤펑과 협력하여 링취우 인터넷을 통해 300TB 규모의 공유 메모리 풀을 구축하고 RPC 통신을 재구성함으로써, 엔드투엔드 추론 지연 시간을 15% 단축하고 KV 캐시와 RPC 성능을 크게 향상시켰으며, 2026년 618 대규모 프로모션의 핵심 시나리오에서 5% 트래픽을 통해 검증을 완료했습니다. 또한 이 협력은 서치 및 추천 등 검색·추천 시나리오에 긍정적인 파급 효과를 가져왔으며, SuperCache, Agent 샌드박스 등 애지네틱 AI의 최첨단 분야에도 적극적으로 진출하고 있습니다.
추천 이유：이 보도는 2026년 10월 26일에 tmtpost.com에서 발표된 독창적인 기술 뉴스를 바탕으로 하며, 실제 적용된 기술 협업을 중점적으로 다룹니다. 협력 주체(징둥 광고/화웨이 쿤펑), 기술 경로(링취우 상호 연결, 이중 캐시, UB 프로토콜 직접 연결 URMA), 정량적 성과(지연 시간 15% 감소, TP99 최적화 85% 이상), 검증 시나리오(618 대규모 프로모션 트래픽의 5%), 그리고 발전 계획(SuperCache, Agent 샌드박스) 등이 명확히 공개됩니다. 모든 핵심 사실은 자료 내에서 상호 확인 가능하며, 외부 정보의 추가나 주관적 추론은 포함되지 않습니다.
칭화대학교와 홍콩중문대학교의 연구진은 2026년 10월 26일, SGLang 기반으로 구축된 대규모 언어모델(LLM) 에이전트 전용 KV 캐시 엔지니어링 서버인 AKV를 오픈소스로 공개했습니다. 이 시스템은 기존의 텍스트 히스토리 요약 방식이 아닌, 에이전트가 스스로 KV 캐시를 적극적으로 버리고 재배치하도록 함으로써, 4개의 에이전트 벤치마크에서 추론 비용을 평균 27.7% 절감하고, 과제 평균 점수를 1.7점 상승시켰습니다. 해당 코드는 Apache-2.0 라이선스를 적용했으며, 현재 Qwen, GPT-OSS-120B, MiniMax-M2.7 등의 모델을 지원합니다.
추천 이유：이 성과는 LLM 에이전트의 효율적 추론을 위한 새로운 패러다임을 제시합니다. 텍스트 절단이나 요약에 의존하는 ‘컨텍스트 엔지니어링’과 달리, AKV는 KV 캐시 상태를 직접 조작하여 중복 프리필을 방지함으로써 장거리 상호작용에서의 KV 부하를 크게 완화합니다. 실제 실험 결과, 높은 동시성 환경에서 P95 지연 시간이 229.9초에서 30.6초로 감소하여 명확한 엔지니어링 가치와 재현 가능성을 입증했습니다. 해당 정보는 MarkTechPost가 발표한 권위 있는 기술 보고서에 근거하며, 게시일시(2026-10-26T07:56:45Z)가 현재 시각과 일치해 최신 공개된 진행 상황임을 나타냅니다.
이 글에서는 Underdog가 발표한 Saluki 27B 모델을 소개합니다. 이 모델은 7.9 GB 크기의 2비트 양자화 Qwen3.8-27B 변형으로, ISTA-DASLab의 GSQ-RCO 방법을 기반으로 구축되었으며, 120개의 작업에 대한 BFCL v4 도구 호출 벤치마크에서 원래의 54 GB 풀 정밀도 모델을 능가한다고 주장됩니다. 다만 모든 성능 관련 결론은 해당 개발자의 발표에 근거한 것으로, 독립적인 검증은 이루어지지 않았습니다.
llama.cpp 프로젝트는 빌드 버전 b11869를 출시했으며, 주요 수정 사항으로 Jinja 템플릿의 select 및 selectattr 함수에서 인수 해석 로직을 개선했고, macOS, Linux, Windows, Android, iOS 및 openEuler 등 수십 가지 하드웨어와 백엔드 조합에 대한 미리 컴파일된 바이너리 패키지를 제공합니다.
llama.cpp v2.45.0(태그 b11868)이 정식으로 출시되었으며, 핵심 업데이트로는 Hexagon 백엔드에 KV-head 분할 메커니즘을 도입하여 다중 코어 HMX Flash Attention의 성능을 최적화하고, FA 분할 제어 플래그를 통일했습니다. 동시에 macOS, Linux, Windows, Android, iOS 및 openEuler 등 모든 플랫폼용 바이너리 패키지를 제공하며, CUDA 12/13, Vulkan, ROCm, OpenVINO, SYCL, Snapdragon(Adreno+Hexagon) 등 다양한 백엔드 지원을 포함합니다.
llama.cpp가 GitHub에서 b11867 버전을 공식 출시했으며, 핵심 변경 사항으로는 서버 측 엔트리포인트의 재구성(PR #31113)과 server_role 메커니즘의 추가가 포함됩니다. 또한 macOS, Linux, Windows, Android, iOS 및 openEuler를 지원하는 40여 개의 사전 컴파일된 바이너리 패키지를 제공하며, CPU, CUDA(12.4/12.8/13.4), Vulkan, ROCm 10.0, OpenVINO, SYCL(FP16/FP32), Snapdragon(Adreno+Hexagon) 등 다양한 하드웨어 백엔드를 지원합니다.
llama.cpp 프로젝트는 빌드 버전 b11865를 출시했으며, 핵심 변경 사항으로는 RDMA 수신 로직에 메모리 경계 검사를 추가하고(PR #30399), CUDA 13.4, ROCm 10.0, Vulkan, OpenVINO, SYCL 및 퀄컴 스냅드래곤(CPU+Adreno+Hexagon)의 풀스택 이기종 컴퓨팅 백엔드를 포함해 하드웨어 가속 지원을 대폭 확장한 점이 있습니다. 또한 macOS용 KleidiAI 지원과 openEuler 빌드는 명시적으로 DISABLED로 표시되었습니다.
llama.cpp v.b11861은 minimax-m3 모델에서 NVFP4/MXFP8 양자화 시 스케일 텐서가 계산 그래프에 주입되지 않아 발생하던 가중치 왜곡 문제를 해결하여 ‘토큰 수프’ 현상과 잔차 소멸을 방지합니다. 또한 macOS, Linux, Windows, Android, iOS 및 openEuler를 지원하는 다중 플랫폼 바이너리 빌드를 함께 제공합니다.
Hugging Face는 AnyLanguageModel 1.0을 정식으로 출시했으며, Apple Foundation Models API와 완전히 호환되는 오픈소스 Swift 프레임워크를 제공합니다. 이 프레임워크는 로컬 모델(MLX, llama.cpp, Core ML)과 호스팅 모델(OpenAI, Anthropic, Gemini, Hugging Face Inference Providers 등) 간의 원활한 전환을 지원하며, 이미지 입력, 도구 호출, 가이드형 생성, 추론 블록 자동 적응 등의 기능도 추가되었습니다.
구글 딥마인드는 싱가포르 GovTech와 함께 Gemma 시리즈를 기반으로 한 경량 엣지 AI 모델을 공동 출시했다. 이 모델은 사용자 기기 내에서 로컬로 실행되도록 최적화되어 있으며, 어떠한 채팅 데이터도 클라우드에 업로드하지 않고도 대화형 사기를 실시간으로 식별하고 경고를 발령할 수 있다.
