제목, 요약, 본문을 검색해 흩어진 정보를 연결하세요.
arXiv:2610.37906v1 발표 유형: 신규 초록: 스파이킹 저수지 컴퓨팅은 고정된 재귀형 저수지의 학습 효율성과, 매 테이프스텝마다 밀집하여 연산을 수행하는 대신 희소한 스파이크에 의해 연산이 촉발되는 이벤트 기반 추론의 에너지 효율성을 결합한다. 그러나 기존의 스파이킹 저수지는 거의 대부분 누설 통합-화재(LIF) 뉴런에 의존하며, 이 뉴런들의 저역 통과 동역학은 서로 다른 시간 주파수로 부호화된 정보를 구분하는 능력을 제한한다. 우리는 HRF-Res를 제안하는데, 이는 LIF 뉴런을 조화 공명-화재(HRF) 뉴런의 이질적인 집단으로 대체한 액체 상태 머신이다. 이러한 뉴런들은 내재된 진동 동역학을 보이며 입력 주파수에 선택적으로 반응하여, 저수지가 주파수
arXiv:2610.33501v1 발표 유형: 신규 초록: 대규모 언어 모델(LLM) 서비스는 추론 처리량을 높이기 위해 배치 처리에 의존하지만, 키-값(KV) 캐시는 시퀀스 길이와 함께 증가하여 GPU 상주 동시성을 제한한다. CPU 오프로드를 통해 호스트 메모리를 활용하면 KV 용량을 확장할 수 있지만, 기존 시스템은 여전히 대부분 GPU 중심으로 작동한다: CPU 상주 요청은 GPU 스케줄러가 적절한 겹침 기회를 제공할 때에만 진행된다. 그 결과, 호스트 메모리와 CPU 연산은 독립적인 서비스 자원으로 작용하지 못하며, 이로 인해 부하 하에서 CPU 측 진행이 간헐적으로 발생하고 꼬리 부분의 토큰 간 지연(ITL)이 부풀어 오르게 된다. 우리는 호스트를 독립적으로 스케줄링되는 디코딩 엔진으로 전환하는 LLM 서비스 런타임인 DualPace를 제안한다. DualPace는 두 개의 엔진 간에 스케줄링 권한을 분리한다: GPU 엔진
