NVIDIA Dynamo를 위한 검증된 Kubernetes 런타임 구축
AI 애플리케이션을 개발하는 팀들은 모델 구성에서 실제 작동하는 추론 엔드포인트에 이르는 반복 가능한 경로가 필요합니다. NVIDIA Dynamo는 분산형 추론...
AI NEWS JOURNAL
AI 뉴스 검색
제목, 요약, 본문을 검색해 흩어진 정보를 연결하세요.
몇 가지 명령어만으로 엣지 애플리케이션 개발을 위한 AI 모델을 실행하세요
개발자들이 엣지에서 작동하는 차세대 에이전트를 구축하면서, AI는 데이터센터를 넘어 확장되고 있습니다: 운전자 주의와 실내 환경을 모니터링하고,...
저역 통과 동역학을 넘어서: 공진 뉴런을 갖춘 주파수 선택적 스파이킹 저수지
arXiv:2610.37906v1 발표 유형: 신규 초록: 스파이킹 저수지 컴퓨팅은 고정된 순환 저수지의 학습 효율성과 이벤트 기반 추론의 에너지 효율성을 결합하며, 여기서 계산은 매 시간 단계마다 밀집하게 수행되는 대신 희소한 스파이크에 의해 촉발된다. 그러나 기존의 스파이킹 저수지는 거의 대부분 누설 통합 및 발화(LIF) 뉴런에 의존하고 있으며, 이 뉴런의 로우패스 동역학은 서로 다른 시간 주파수로 부호화된 정보를 구분하는 능력을 제한한다. 우리는 LIF 뉴런을 조화 공명 및 발화(HRF) 뉴런의 이질적 집단으로 대체한 액체 상태 머신인 HRF-Res를 제안한다. 이 뉴런들은 내재적인 진동 동역학을 보이며 입력 주파수에 선택적으로 반응하여, 저수지가 주파수를 포착할 수 있도록 한다.
RF EDA에서의 AI 설계 여정 계획
RF 설계를 위한 에이전틱 솔루션. “RF EDA에서의 AI 설계 여정 계획”이라는 글은 Semiconductor Engineering에 처음 게재되었습니다.
클라우드의 LLM: 아키텍처, 오케스트레이션 및 추론에 관한 논의
arXiv:2610.33475v1 발표 유형: 신규 초록: 클라우드 데이터센터 전반에 걸쳐 기반 대규모 언어 모델(LLM)이 광범위하게 배치됨에 따라, 무상태 딥러닝에서 분산형·메모리 집약적 생성 워크로드로의 근본적인 패러다임 전환이 이루어지고 있습니다. 그러나 엄격한 서비스 수준 목표(SLO) 하에서 대규모 기반 모델을 서비스하는 과정에서는 중요한 물리적 및 시스템 병목 현상이 드러납니다. 이러한 도전 과제에는 지속적인 고대역폭 메모리(HBM) 장벽, 연산 중심의 프리필링과 메모리 대역폭 중심의 디코딩 간의 운영 비대칭성, 폭발적으로 증가하는 키-값(KV) 캐시, 부담스러운 서버리스 콜드 스타트, 그리고 하드웨어 신뢰성 취약점 등이 포함됩니다. 기존 문헌 리뷰들은 여전히 계층별로 분리되어 있어, 저수준 가속기 가상화와 클러스터를 서로 분리하고 있습니다.
듀얼페이스: LLM 서비스를 위한 분리형 스케줄링 및 협력적 GPU–CPU 디코딩
arXiv:2610.33501v1 발표 유형: 신규 초록: 대규모 언어 모델(LLM) 서비스는 추론 처리량을 높이기 위해 배치 처리에 의존하지만, 키-값(KV) 캐시는 시퀀스 길이와 함께 증가하여 GPU 상주 동시성을 제한한다. CPU 오프로드를 통해 호스트 메모리를 활용하면 KV 용량을 확장할 수 있지만, 기존 시스템은 여전히 대부분 GPU 중심으로 작동한다: CPU 상주 요청은 GPU 스케줄러가 적절한 겹침 기회를 제공할 때에만 진행된다. 그 결과, 호스트 메모리와 CPU 연산은 독립적인 서비스 자원으로 작용하지 못하며, 이로 인해 부하 하에서 CPU 측 진행이 간헐적으로 발생하고 꼬리 부분의 토큰 간 지연(ITL)이 부풀어 오르게 된다. 우리는 호스트를 독립적으로 스케줄링되는 디코딩 엔진으로 전환하는 LLM 서비스 런타임인 DualPace를 제안한다. DualPace는 두 개의 엔진 간에 스케줄링 권한을 분리한다: GPU 엔진
i14, Laplace 3B 선형 주의 메커니즘 모델 발표: AWS Trainium2와 네이티브 PyTorch를 기반으로 한 고정 상태 메모리 추론 구현
i14는 30.28억 개의 파라미터를 갖는 Laplace 3B 모델을 출시했으며, Softmax 주의 메커니즘을 대체해 게이트 제어 선형 주의(GLA)를 채택했습니다. 이 모델은 추론 시 각 시퀀스의 재귀 상태 크기가 항상 29.5 MB로, 컨텍스트 길이와 무관합니다. 해당 모델은 AWS trn2.48xlarge 인스턴스 한 대(Trainium2 칩 16개 탑재)에서 훈련 및 서비스 검증을 완료했으며, 훈련 처리량은 초당 12만 토큰에 달하고, 서비스 처리량은 초당 11,544 출력 토큰(동시 실행 시퀀스 수 1,280)입니다. 모든 성능 데이터는 i14와 AWS GenAIIC 팀의 내부 실측 결과입니다.