본문으로 건너뛰기
AI NEWS JOURNAL
AI, IN PERSPECTIVE

AI 뉴스 검색

제목, 요약, 본문을 검색해 흩어진 정보를 연결하세요.

발행 시간순

vLLM 시맨틱 라우터, d3-ultra 출시: 27B 규모의 오픈형 멀티모달 의사결정 모델

vLLM 시맨틱 라우터가 27B 규모의 오픈 웨이트 멀티모달 의사결정 모델인 d3-ultra를 출시했습니다. 이 모델은 텍스트, 이미지 및 비디오를 한 번에 처리한 뒤 모든 답변에 대한 확률을 반환하며, 팀의 SR-Text 테스트에서 87.2점을 기록했습니다. 해당 게시물 “vLLM 시맨틱 라우터, 27B 규모의 오픈 멀티모달 의사결정 모델 d3-ultra 출시”는 MarkTechPost에 처음 게재되었습니다.

新闻源配图 · MarkTechPost
진행 상황 및 관련 보도

듀얼페이스: LLM 서비스를 위한 분리형 스케줄링 및 협력적 GPU–CPU 디코딩

arXiv:2610.33501v1 발표 유형: 신규 초록: 대규모 언어 모델(LLM) 서비스는 추론 처리량을 높이기 위해 배치 처리에 의존하지만, 키-값(KV) 캐시는 시퀀스 길이와 함께 증가하여 GPU 상주 동시성을 제한한다. CPU 오프로드를 통해 호스트 메모리를 활용하면 KV 용량을 확장할 수 있지만, 기존 시스템은 여전히 대부분 GPU 중심으로 작동한다: CPU 상주 요청은 GPU 스케줄러가 적절한 겹침 기회를 제공할 때에만 진행된다. 그 결과, 호스트 메모리와 CPU 연산은 독립적인 서비스 자원으로 작용하지 못하며, 이로 인해 부하 하에서 CPU 측 진행이 간헐적으로 발생하고 꼬리 부분의 토큰 간 지연(ITL)이 부풀어 오르게 된다. 우리는 호스트를 독립적으로 스케줄링되는 디코딩 엔진으로 전환하는 LLM 서비스 런타임인 DualPace를 제안한다. DualPace는 두 개의 엔진 간에 스케줄링 권한을 분리한다: GPU 엔진

진행 상황 및 관련 보도

AI 수요 속에서 마벨의 초기 칩 제조 베팅이 성과를 거두다

8년 전, 칩 제조업체 마벨 테크놀로지 인코퍼레이션은 나노미터 기술을 한 단계 앞서 나가기로 결정했고, 그 이후로 성장세는 꾸준히 이어지고 있다. 반도체 제조에서 나노미터 표기는 트랜지스터의 정확한 물리적 크기가 아니라, 프로세스 노드로 불리는 칩 제조 기술 세대를 나타낸다. 고급 프로세스 노드는 일반적으로 더 높은 트랜지스터 밀도와 성능 향상을 가능하게 한다 […] 포스트 ‘AI 수요 속에서 마벨의 초기 칩 제조 모험에 대한 보상이 나타나다’는 실리콘앵글에 처음 게재되었다.

진행 상황 및 관련 보도

NVIDIA, 유럽 소매업의 디지털 전환을 촉진: 개방형 모델과 물리 기반 지능이 이커머스, 창고 관리 및 가상 피팅에 적용된다

유럽의 소매업체들은 NVIDIA 가속형 오픈 라지 모델과 물리 기반 AI 기술을 바탕으로, 디지털 상품 탐색, 지능형 창고 시뮬레이션, 가상 피팅 및 연구개발 가속화 등의 분야에서 대규모 적용 사례를 구현하고 있습니다. Shopify, Zooplus, L’Oréal, Otto Group 등 기업들은 Nemotron 시리즈 모델, Omniverse 디지털 트윈, ALCHEMI 분자 시뮬레이션 등의 도구를 통해 추론 비용을 크게 절감하고 검색 정확도를 향상시키며 연구개발 주기를 단축했으며, 전환율과 매출 성장 효과까지 검증했습니다.

진행 상황 및 관련 보도