跳到正文
AI NEWS JOURNAL
AI, IN PERSPECTIVE

搜索 AI 资讯

检索标题、摘要与正文,把分散的信息连起来。

按发布时间排序

KORA:面向人工智能工作负载的确定性优先执行控制

arXiv:2610.35869v1 发布类型:新 摘要:人工智能应用通常会在决定是否需要进行推理之前先调用模型。这种默认行为对于模糊的生成任务很有用,但与那些结构化、确定性、受策略约束、以查找为主或可直接验证的工作并不匹配。KORA 提出了确定性优先执行控制:一种位于推理前的控制层,它将请求表示为任务路径,优先尝试确定性或结构化的执行路径,验证路径结果,记录遥测数据,并仅在确定性处理不足时才切换到模型候选路径。本文将 KORA 介绍为一种确定性优先的执行控制架构,并基于可复现的基准测试和验证工作负载提供了有限的实证证据。在一项重

事件进展与其他报道

LeafSkill:用于递归LLM智能体的高效叶级动作定位

arXiv:2610.32412v1 发布类型:新 摘要:递归式大型语言模型(LLM)智能体通过分解、执行与环境反馈来解决长周期任务。然而,在生成一个原子级子任务后,它们往往再次调用同一款大型模型,将熟悉的指令转化为可执行的动作。我们观察到,高层规划具有任务特定性,而底层动作的具身化则在不同任务间反复出现,并且能够对照环境允许的动作进行验证。为此,我们提出了 LeafSkill,这是一种外部复用层,它能够检索语义相关的具身化经验,将动作模板绑定到当前对象与可执行动作上,并借助一个轻量级的 17 亿参数选择器来决定采用已绑定的动作,或将未发生变化的子任务交由原始智能体继续处理。技能始终处于外

事件进展与其他报道

DualPace:用于大语言模型推理的解耦调度与GPU-CPU协同解码

arXiv:2610.33501v1 发布类型:新 提要:大型语言模型(LLM)的推理服务依赖于批处理以提升推理吞吐量,但键值(KV)缓存会随序列长度增长,从而限制了GPU上的并发度。通过CPU卸载,可以利用主机内存扩展KV缓存容量,然而现有系统在很大程度上仍受GPU瓶颈制约:只有当GPU调度器能够提供合适的重叠机会时,CPU驻留的请求才能取得进展。因此,主机内存与CPU计算无法作为独立的推理资源发挥作用,导致负载下CPU端进度波动加剧,并使尾部词间延迟(ITL)显著增加。我们提出了DualPace,一种将主机转变为独立调度解码引擎的LLM推理运行时。DualPace在两个引擎之间划分了调度权:GPU引擎

事件进展与其他报道