엔비디아, 기업들이 더 적은 GPU로 AI 모델을 실행할 수 있도록 지원하는 인도 스타트업을 후원
심플리스마트는 연간화된 매출액이 6개월 만에 14배로 증가했으며, 미국 시장이 전체 매출의 절반 이상을 차지한다고 밝혔습니다.
AI NEWS JOURNAL
AI 뉴스 검색
제목, 요약, 본문을 검색해 흩어진 정보를 연결하세요.
클라우드의 LLM: 아키텍처, 오케스트레이션 및 추론에 관한 논의
arXiv:2610.33475v1 발표 유형: 신규 초록: 클라우드 데이터센터 전반에 걸쳐 기반 대규모 언어 모델(LLM)이 광범위하게 배치됨에 따라, 무상태 딥러닝에서 분산형 메모리 집약적 생성 워크로드로의 근본적인 패러다임 전환이 이루어지고 있다. 그러나 엄격한 서비스 수준 목표(SLO) 하에서 대규모 기반 모델을 서비스하는 과정에서는 중요한 물리적 및 시스템 병목 현상이 드러난다. 이러한 과제에는 지속적인 고대역폭 메모리(HBM) 장벽, 연산 중심의 프리필링과 메모리 대역폭 중심의 디코딩 간의 운영 비대칭성, 폭발적으로 증가하는 키-값(KV) 캐시, 부담스러운 서버리스 콜드 스타트, 그리고 하드웨어 신뢰성 취약점 등이 포함된다. 기존 문헌 리뷰들은 여전히 계층별로 분리되어 있어, 저수준 가속기 가상화와 클러스터를 서로 분리하고 있다.
ASRock 크리에이터 라데온 AI 프로 R9700 리뷰: AMD 스타일의 워크스테이션 추론
오늘은 워크스테이션용 ASRock의 고급형 Radeon AI 추론 카드인 Creator Radeon AI Pro R9700을 살펴봅니다. 32GB의 RAM과 1,700달러의 가격대를 갖춘 이 카드는 로컬 AI 추론을 위한 워크스테이션을 구성하는 데 있어 매우 합리적인 선택입니다. 본 글 ‘ASRock Creator Radeon AI Pro R9700 리뷰: AMD 스타일의 워크스테이션 추론’은 ServeTheHome에 처음 게재되었습니다.
스페이스X, 아폴로와 400억 달러 규모의 GPU 파이낸싱 계약 체결
스페이스X는 AI 칩 및 관련 데이터센터 장비 구매를 위한 약 400억 달러 규모의 자금 조달에 대해 법적 구속력 있는 계약을 체결했다고 월요일 규제 당국에 제출한 서류에서 밝혔다. 스페이스X는 성명을 통해 이를 사상 최대 규모의 GPU 관련 확정 자금 조달이라고 평가했다.
하나의 명령에서 HF 작업에 vLLM 서버를 실행
하나의 명령에서 HF 작업에 vLLM 서버를 실행