跳到正文
AI NEWS JOURNAL
AI, IN PERSPECTIVE

搜索 AI 资讯

检索标题、摘要与正文,把分散的信息连起来。

按发布时间排序

Async-RBench:用于LLM智能体中异步任务执行的基准测试

arXiv:2610.32429v1 发布类型:新 摘要:大型语言模型(LLM)代理正越来越多地以异步方式执行任务:主代理在子代理运行的同时继续工作,而任务状态可能在其结果到达之前就已发生变化。主代理必须决定哪些工作需要更新或保留、哪些检查需要重复,同时避免进行被禁止的修改。仅凭最终任务的成功并不能说明这些结果是否被正确处理,而且自然的异步到达现象也难以复现。我们提出了 Async-RBench,一个用于评估 LLM 代理中异步任务执行的基准测试,包含涵盖八种场景的 200 个可执行任务。场景控制器通过预定义的任务状态条件来调控结果的交付,而事件响应契约(ERC)则规定了每种响应应满足的要求

事件进展与其他报道

一种基于统一排队模型的框架,用于在突发性工作负载下对无服务器自动伸缩策略进行比较评估

arXiv:2610.35564v1 发布类型:新 摘要:无服务器计算平台必须在适应高度突发且不可预测的工作负载的同时,确保服务质量(QoS)。为应对工作负载的波动并满足QoS要求及服务等级协议(SLA),这些平台依赖于资源的自动扩展。商业化的函数即服务(FaaS)平台采用不同的自动伸缩策略,以动态调整活跃函数实例的数量和可用的处理能力。在本研究中,我们对三种具有代表性的自动伸缩策略进行了建模与比较:按请求伸缩(SPR)、并发级别伸缩(CLS)以及基于指标的伸缩(MBS)。为了实现独立于各厂商特定实现的系统化评估,我们……

事件进展与其他报道

KVStream:面向大规模LLM推理的KV缓存自适应并行存储管理

arXiv:2610.31827v1 发布类型:新 摘要:针对智能体驱动、编码及文档工作负载的长上下文大语言模型服务,会重复使用那些键值(KV)缓存超出GPU和主机内存容量的前缀,从而导致在推理阶段为获取这些前缀而产生存储I/O,使其成为关键路径。单个节点本地的NVMe设备承担了所有检索任务,而各节点已挂载的并行文件系统或云文件存储几乎不承载任何推理流量。我们将前缀检索视为跨这些层级的聚合带宽调度问题,并提出了KVStream——一种KV缓存引擎,它将某一步骤的读取操作进行批处理,在前向传播之后延迟写入,在每一层级上复制每个数据块,并允许每个层级在空闲时自适应地获取下一个未读取的数据块。我们的性能模型表明,这种路由方式能够实现聚合

KVStream: Adaptive Parallel Storage Management for KV Caching in Large-Scale LLM Serving
事件进展与其他报道