跳到正文
AI NEWS JOURNAL
AI, IN PERSPECTIVE

搜索 AI 资讯

检索标题、摘要与正文,把分散的信息连起来。

按发布时间排序

超越低通动力学:基于谐振神经元的频率选择性脉冲储备池

arXiv:2610.37906v1 发布类型:新 摘要:脉冲储备计算将固定递归储备池的训练效率与事件驱动推理的能量效率相结合,其中计算由稀疏脉冲触发,而非在每个时间步都进行密集运算。然而,现有的脉冲储备池几乎完全依赖于漏积分-发放(LIF)神经元,其低通特性限制了它们区分不同时间频率所编码信息的能力。我们提出了HRF-Res,一种液态状态机,其中LIF神经元被异质的谐波谐振-发放(HRF)神经元群体所取代。这些神经元具有内在的振荡动力学,并能选择性地响应输入频率,从而使储备池能够捕捉频

事件进展与其他报道

DualPace:用于大语言模型推理的解耦调度与GPU-CPU协同解码

arXiv:2610.33501v1 发布类型:新 提要:大型语言模型(LLM)的推理服务依赖于批处理以提升推理吞吐量,但键值(KV)缓存会随序列长度增长,从而限制了GPU上的并发度。通过CPU卸载,可以利用主机内存扩展KV缓存容量,然而现有系统在很大程度上仍受GPU瓶颈制约:只有当GPU调度器能够提供合适的重叠机会时,CPU驻留的请求才能取得进展。因此,主机内存与CPU计算无法作为独立的推理资源发挥作用,导致负载下CPU端进度波动加剧,并使尾部词间延迟(ITL)显著增加。我们提出了DualPace,一种将主机转变为独立调度解码引擎的LLM推理运行时。DualPace在两个引擎之间划分了调度权:GPU引擎

事件进展与其他报道