AI 뉴스 검색

NVIDIA Vera Rubin을 위한 쿠버네티스의 AI 준비: 첫날부터

NVIDIA Vera Rubin과 같은 새로운 GPU 하드웨어에 맞게 쿠버네티스를 구성하고 최적화하는 작업은 복잡하며 오류가 발생하기 쉽습니다. 드라이버, 커널, 런타임, 네트워킹,...

3초 만에 도시의 풍향을 예측한다! 중국계 학자팀이 AI 신기술을 개발해 드론 비행 시 전력 소모를 줄인다

배송용 드론이 몇 블록 떨어진 곳으로 배달물을 전달해야 한다면, 건물들을 우회한 뒤 최대한 직선으로 비행하는 것이 가장 경제적인 선택처럼 보입니다. 하지만 만약 그 직선 경로가 바람을 정면으로 맞으며 유난히 넓은 거리를 지나야 한다면, 드론은 그대로 통과해야 할까요, 아니면 약간 우회하거나 고도를 변경하는 게 나을까요? 가장 짧은 경로가 반드시 가장 에너지 효율적인 길일까요? 최근 테네시 대학교, 콘코디아 대학교, 맥길 대학교, 캘리포니아 공과대학 등 여러 기관의 연구진들이 논문을 발표하고, 도시의 3차원 풍장 예측과 드론의 에너지 절감 경로 계획을 연계하는 GeoWind2Plan 프레임워크를 제안했습니다. 이 연구는 친샤오샹(샤오 교수팀 방문연구원), 자오위청(샤오 교수팀 박사) 등이 수행했으며, 테네시 대학교의 샤오슝예 교수, 콘코디아 대학교의 왕량주 교수, 캘리포니아 공과대학의 아니마 아난드쿠마르 교수가 공동으로 교신저자로 참여했습니다. (출처: 샤오슝예(DUAL)...

LooseLeaf: 컴퓨팅 노트북을 위한 서버리스 GPU 지원

arXiv:2610.33275v1 발표 유형: 신규 초록: 컴퓨팅 노트북은 세션 전체 동안 GPU를 할당하지만, GPU는 셀이 실행되는 동안에만 계산을 수행하고 그 외에는 대기 상태로 남아 있습니다. 서버리스 실행 방식을 사용하면 셀 간에 GPU 자원을 해제할 수 있지만, 새로 생성된 워커에서 누적된 노트북 상태를 다시 구축하는 과정은 각 GPU 셀마다 상당한 비용을 초래합니다. 본 논문에서는 대화형 노트북을 위한 서버리스 GPU 플랫폼인 LooseLeaf를 제안합니다. LooseLeaf는 각 셀의 상태와 import 클로저를 추출하며, 해당 셀이 필요로 하는 최소한의 변수와 패키지를 파악합니다. 실제 사례 5,000개의 노트북을 대상으로 한 분석 결과, 이러한 클로저는 크기가 작으며, 사용자가 셀을 편집하는 동안에도 이를 준비하는 데 몇 초밖에 걸리지 않는 것으로 나타났습니다. LooseLeaf는 사용자가 셀을 편집하는 동안 이러한 클로저를 포함한 GPU 워커를 미리 준비합니다. 실행이 완료된 후, 워커는…

칭화대학교와 홍콩중문대학교가 공동으로 오픈소스 AKV를 출시했습니다: LLM 에이전트를 위한 KV 캐시 엔지니어링 서비스 시스템

칭화대학교와 홍콩중문대학교의 연구진은 2026년 10월 26일, SGLang 기반으로 구축된 대규모 언어모델(LLM) 에이전트 전용 KV 캐시 엔지니어링 서버인 AKV를 오픈소스로 공개했습니다. 이 시스템은 기존의 텍스트 히스토리 요약 방식이 아닌, 에이전트가 스스로 KV 캐시를 적극적으로 버리고 재배치하도록 함으로써, 4개의 에이전트 벤치마크에서 추론 비용을 평균 27.7% 절감하고, 과제 평균 점수를 1.7점 상승시켰습니다. 해당 코드는 Apache-2.0 라이선스를 적용했으며, 현재 Qwen, GPT-OSS-120B, MiniMax-M2.7 등의 모델을 지원합니다.

추천 이유：이 성과는 LLM 에이전트의 효율적 추론을 위한 새로운 패러다임을 제시합니다. 텍스트 절단이나 요약에 의존하는 ‘컨텍스트 엔지니어링’과 달리, AKV는 KV 캐시 상태를 직접 조작하여 중복 프리필을 방지함으로써 장거리 상호작용에서의 KV 부하를 크게 완화합니다. 실제 실험 결과, 높은 동시성 환경에서 P95 지연 시간이 229.9초에서 30.6초로 감소하여 명확한 엔지니어링 가치와 재현 가능성을 입증했습니다. 해당 정보는 MarkTechPost가 발표한 권위 있는 기술 보고서에 근거하며, 게시일시(2026-10-26T07:56:45Z)가 현재 시각과 일치해 최신 공개된 진행 상황임을 나타냅니다.

llama.cpp가 b11861 버전을 출시했습니다: minimax-m3 모델의 양자화 스케일링 텐서가 전달되지 않아 발생하는 추론 오류를 수정했습니다.

llama.cpp v.b11861은 minimax-m3 모델에서 NVFP4/MXFP8 양자화 시 스케일 텐서가 계산 그래프에 주입되지 않아 발생하던 가중치 왜곡 문제를 해결하여 ‘토큰 수프’ 현상과 잔차 소멸을 방지합니다. 또한 macOS, Linux, Windows, Android, iOS 및 openEuler를 지원하는 다중 플랫폼 바이너리 빌드를 함께 제공합니다.