본문으로 건너뛰기
AI NEWS JOURNAL
AI, IN PERSPECTIVE

AI 뉴스 검색

제목, 요약, 본문을 검색해 흩어진 정보를 연결하세요.

발행 시간순

WM-Quant: JEPA 스타일 월드 모델을 위한 롤아웃 인식 사후 훈련 양자화

arXiv:2611.21882v1 발표 유형: 신규 초록: 우리는 JEPA 스타일 월드 모델을 위해 특별히 설계된, 현재까지 알려진 바에 따르면 최초의 사후 훈련 양자화(PTQ) 프레임워크인 WM-Quant를 제시합니다. 월드 모델은 일반적으로 매개변수 수가 비교적 적지만, 행동 계획 알고리즘은 종종 수천 번의 추론을 필요로 하며 이는 곧 계산 비용이 크게 증가할 수 있습니다. PTQ는 이러한 비용을 줄이는 자연스러운 방법입니다. 그러나 우리는 자동회귀 모델 예측 제어(MPC) 롤아웃을 사용하는 월드 모델에서 양자화 오차가 각 예측 단계마다 누적되어 양자화된 모델의 행동 순위가 거의 무작위가 되는 결과를 초래할 수 있음을 보여줍니다. WM-Quant는 기존 PTQ 방법을 기반으로 하는 세 가지 구성 요소로 이를 해결합니다: 조기 인코더 정밀도, 제어 경로 보존, 그리고 롤아웃 인식 스케일링입니다. 조기 인코더 정밀도는 정확한 잠재 상태 및 목표 정보를 보호하여 장기적인 오차 전파를 완화합니다. 제어 경로 보존은 월드 모델 예측기가 세부적인 행동을 구분할 수 있도록 하여 행동 순위와 실행을 크게 개선합니다. 롤아웃 인식 스케일링은 단일 예측이 아닌 전체 롤아웃을 고려하여 인코더와 단계별 예측기 활성화 범위를 공동으로 보정함으로써 누적 롤아웃 오차를 줄입니다. 여러 월드 모델, 환경 및 PTQ 방법에 걸쳐 WM-Quant는 저비트 폭에서도 계획 성공률을 크게 향상시키며, W4A4에서는 완전 정밀도 성능에 근접합니다.

저역 통과 동역학을 넘어서: 공명 뉴런을 갖춘 주파수 선택적 스파이킹 저수지

arXiv:2610.37906v1 발표 유형: 신규 초록: 스파이킹 저수지 컴퓨팅은 고정된 재귀형 저수지의 학습 효율성과, 매 테이프스텝마다 밀집하여 연산을 수행하는 대신 희소한 스파이크에 의해 연산이 촉발되는 이벤트 기반 추론의 에너지 효율성을 결합한다. 그러나 기존의 스파이킹 저수지는 거의 대부분 누설 통합-화재(LIF) 뉴런에 의존하며, 이 뉴런들의 저역 통과 동역학은 서로 다른 시간 주파수로 부호화된 정보를 구분하는 능력을 제한한다. 우리는 HRF-Res를 제안하는데, 이는 LIF 뉴런을 조화 공명-화재(HRF) 뉴런의 이질적인 집단으로 대체한 액체 상태 머신이다. 이러한 뉴런들은 내재된 진동 동역학을 보이며 입력 주파수에 선택적으로 반응하여, 저수지가 주파수

진행 상황 및 관련 보도

TMA를 언제, 왜 사용해야 하는가: NVIDIA Hopper GPU에서의 텐서 메모리 가속에 대한 워크로드 기반 특성 분석

arXiv:2610.34907v1 발표 유형: 신규 초록: NVIDIA Hopper에서 도입된 텐서 메모리 가속기(TMA)는 실제 생산 환경의 GPU 커널에서 광범위하게 사용되고 있지만, 그 활용은 상당히 선택적입니다. CUTLASS, FlashAttention-3, FlashInfer 등에서 활동하는 전문 커널 개발자들은 커널 내 일부 텐서 피연산자에 대해 TMA를 적용하되, 다른 피연산자에 대해서는 cp.async, 직접 글로벌 로드, 또는 분산 공유 메모리(DSM)로 대체합니다. 벤더 문서에서는 API를 설명하고, 최근의 마이크로벤치마킹 연구에서는 TMA의 처리량을 단독으로 평가하고 있지만, 이러한 접근 방식들은 실무 현장에서 실제로 직면하는 질문에 답하지 못합니다: 커널 내 특정 메모리 피연산자가 주어졌을 때, 이를 TMA로 처리해야 하는지, 그리고 만약 그렇다면 클러스터 멀티캐스트를 함께 사용할 것인지 여부를 결정하는 문제입니다. 우리는 H100을 대상으로 한 워크로드 기반 특성 분석 연구를 통해 이와 같은 간극을 해소하고자 합니다. 우리는 TMA와 다중

진행 상황 및 관련 보도

클라우드의 LLM: 아키텍처, 오케스트레이션 및 추론에 관한 논의

arXiv:2610.33475v1 발표 유형: 신규 초록: 클라우드 데이터센터 전반에 걸쳐 기반 대규모 언어 모델(LLM)이 광범위하게 배치됨에 따라, 무상태 딥러닝에서 분산형 메모리 집약적 생성 워크로드로의 근본적인 패러다임 전환이 이루어지고 있다. 그러나 엄격한 서비스 수준 목표(SLO) 하에서 대규모 기반 모델을 서비스하는 과정에서는 중요한 물리적 및 시스템 병목 현상이 드러난다. 이러한 과제에는 지속적인 고대역폭 메모리(HBM) 장벽, 연산 중심의 프리필링과 메모리 대역폭 중심의 디코딩 간의 운영 비대칭성, 폭발적으로 증가하는 키-값(KV) 캐시, 부담스러운 서버리스 콜드 스타트, 그리고 하드웨어 신뢰성 취약점 등이 포함된다. 기존 문헌 리뷰들은 여전히 계층별로 분리되어 있어, 저수준 가속기 가상화와 클러스터를 서로 분리하고 있다.

진행 상황 및 관련 보도