跳到正文
AI NEWS JOURNAL
AI, IN PERSPECTIVE

搜索 AI 资讯

检索标题、摘要与正文,把分散的信息连起来。

按发布时间排序

ToolTurns:多轮对话中 LLM 智能体的基准测试

arXiv:2611.14925v1 公告类型:新 发表摘要:使用工具的语言模型正越来越多地应用于对话场景,但大多数大规模工具使用基准测试都聚焦于孤立的请求。我们提出了 ToolTurns 基准,包含 2,620 个问题,涵盖 1,827 种工具和 11,004 个 API 端点,涉及 47 个类别。每个对话均从一个有意描述不充分的请求开始,并通过两个依赖上下文的后续请求延续,以测试澄清、工具使用以及对话上下文的保持能力。我们还引入了一个开源用户模拟器,该模拟器可通过对话揭示被隐藏的上下文并生成后续请求,并配备了一个检查—修正流水线来改进其对话轮次。在九个语言模型中,表现最佳的智能体能够解决 69.6% 的单个请求,但仅完成 39.8% 的完整对话。根据这一评估协议,所有受测模型在后续请求上的成功得分均低于初始请求,而对话质量评分与任务成功率对模型的排名可能大相径庭。成对的轮次级评估表明,检查—修正流程能减少检测到的对话缺陷,且盲测的人类评价更倾向于修订后的对话轮次。ToolTurns 为评估智能体能否在使用工具的多轮对话中持续达成任务目标提供了测试平台。

实测Gemini 4 Carbon:已玩嗨,Google就这样悄悄重回牌桌

作者|周一笑(微信smiletalker)编辑|王兆洋(Geisterspiele)Gemini 4 Carbon 深夜正式开放,第一时间实测之后,我不禁发出感慨:它最好的上线时间其实是两周前。因为差了这么几天,它就被 Fable 5.2 抢走了各种 Benchmark 第一。然后我就发现,这个感慨本身,其实最能说明它在今天模型竞争里的位置,以及这个模型对Goo...

实测Gemini 4 Carbon:已玩嗨,Google就这样悄悄重回牌桌

SetPrint:通过响应变化的集合对应进行黑盒大型语言模型指纹识别

arXiv:2611.12950v1 公告类型:新 题要:黑盒大模型指纹识别旨在仅通过观察对输入查询的输出响应,判断目标模型是否源自某个源模型。揭示这种关联的一种方法是扰动每个查询,并观察两个模型产生的相应响应,从而得到两组对应的响应变化。这两组数据提供了两种互补的信息来源:每组内部响应变化之间的关系,以及两组之间响应变化的对应关系。然而,现有方法并未充分挖掘这两方面的信息。我们提出了 \textbf{SetPrint},一种无需训练的方法,能够同时捕捉组内关系和组间对应。SetPrint 将每个响应变化相对于其所在组的平均变化进行表示,然后比较由相同扰动引发的两个模型的变化。在 LeaFBench 上,SetPrint 的性能始终优于现有的无训练黑盒指纹识别方法。进一步分析表明,这些优势源于组内关系和组间对应两方面。

CulturalCrosswords:一个由答案约束和网格填空组成的多语言基准测试集

arXiv:2611.10044v1 公告类型:新 提要:当多个答案都能符合谜题时,精确匹配评分可能会惩罚有效的回应。CulturalCrosswords 测试了答案约束如何影响大型语言模型(LLM)解答文化类谜题,这类谜题的解答依赖于特定社群的知识。我们从42种语言的众包谜题中构建了53份填字游戏,并在每套线索的五个版本上评估了11种 LLM 配置:普通批次、带长度提示的批次、带长度和部分答案提示的批次,以及要求提供答案列表或完整网格的填字游戏。在包含备选答案的962条线索中,与参考答案的一致性在加入长度约束后提升了22.8个百分点,而仅接受备选答案并给予相应分数时仅提升8.4个百分点。因此,部分收益似乎源于对所需答案形式的选择。填字游戏输入使所有交叉处具有兼容答案的比例提高了9.7个百分点;要求填写完整网格则揭示了各模型之间的显著差异。该基准测试区分了与参考答案的一致性,与生成能够相互匹配并占据正确单元格的答案的能力。

FilingLoop:用于企业披露审查与修订的LLM智能体评估与演化

arXiv:2610.37905v1 发布类型:新 摘要:诸如美国证券交易委员会EDGAR等公开披露数据库通过网络访问企业申报文件,为知情投资提供支持。借助语言模型智能体对这些文件进行审查时,需要发现相关文档中未明示的缺陷、获取缺失的企业信息,并验证所请求的修订是否符合有据可依的要求。然而,现有的金融问答评测难以充分反映此类交互能力。我们提出了\textbf{FilingLoop},一个用于企业披露审查与修订的交互式基准测试及自进化智能体框架。FilingLoop以美国证券交易委员会的历史往来函件为基础,从96家公司的文件中重构出380项以首次公开募股审查为主的任务。

事件进展与其他报道

评估与改进用于理解测序协议的 AI 智能体

arXiv:2610.37851v1 发布类型:新 摘要:现有的科学智能体基准测试很少评估智能体是否能够重建测序协议所指定的精确分子结构和生成流程,而这一能力对于分析定制化测序实验至关重要。我们提出了 LibStructBench,一个基于文档的基准测试,用于重建测序文库结构和分子工作流程。我们的实验表明,前沿的智能体通常能够生成大致正确的重建结果,但在精确重建方面仍不够可靠,尤其是在分子状态表示和工作流程连通性方面。更换底层语言模型所带来的平均性能差异,甚至大于更换智能体框架所产生的差异,且这种差异具有统计学上的显著性。

事件进展与其他报道

FlatCake:一种用于大语言模型推理的扁平化KV缓存存储架构

arXiv:2610.38355v1 发布类型:新摘要:KV缓存复用能够加速大语言模型的推理,但现有系统将主机DRAM和NVMe SSD视为分层结构,其中DRAM充当中间缓存。然而,实际的大语言模型工作负载打破了这一分层结构的两个前提。首先,双模态复用使DRAM的时间过滤失效,因为工作负载要么由具有较长复用距离的一次性块主导,要么由超过DRAM容量的数GB级智能体会话主导,从而将SSD置于关键的读取路径上。其次,DRAM的暂存与按驱逐顺序布局导致SSD恢复出现瓶颈。为在途前缀保留主机暂存缓冲区会在负载下引发争用,进而中止预取操作;而增量式驱逐则会将会话的块分散到整个SSD上,阻碍大规模顺序读取。我们 p

事件进展与其他报道

Seq@K:在序列反馈下的语言模型评估

arXiv:2610.37859v1 发布类型:新 摘要:语言模型驱动的智能体与以往的智能系统存在根本性差异,其能够在上下文中从自然语言中学习。这一能力使智能体能够根据反馈逐步优化自己的回答,而这正是现代智能体工作流中普遍采用的操作模式。然而,学术界目前主要依据Pass@1或Pass@K等指标对模型进行排名,这些指标无法反映模型如何利用先前尝试的反馈信息。我们提出了Seq@K,这是一种自然的评估方案,用于衡量模型在每次先前失败后获得反馈的情况下,是否能在K次连续尝试内解决问题。与那些考察长期规划的多轮智能体基准测试不同,Seq@K将重点聚焦并形式化了从……中进行迭代优化的核心能力。

事件进展与其他报道

KORA:面向人工智能工作负载的确定性优先执行控制

arXiv:2610.35869v1 发布类型:新 摘要:人工智能应用通常会在决定是否需要进行推理之前先调用模型。这种默认行为对于模糊的生成任务很有用,但与那些结构化、确定性、受策略约束、以查找为主或可直接验证的工作并不匹配。KORA 提出了确定性优先执行控制:一种位于推理前的控制层,它将请求表示为任务路径,优先尝试确定性或结构化的执行路径,验证路径结果,记录遥测数据,并仅在确定性处理不足时才切换到模型候选路径。本文将 KORA 介绍为一种确定性优先的执行控制架构,并基于可复现的基准测试和验证工作负载提供了有限的实证证据。在一项重

事件进展与其他报道

Async-RBench:用于LLM智能体中异步任务执行的基准测试

arXiv:2610.32429v1 发布类型:新 摘要:大型语言模型(LLM)代理正越来越多地以异步方式执行任务:主代理在子代理运行的同时继续工作,而任务状态可能在其结果到达之前就已发生变化。主代理必须决定哪些工作需要更新或保留、哪些检查需要重复,同时避免进行被禁止的修改。仅凭最终任务的成功并不能说明这些结果是否被正确处理,而且自然的异步到达现象也难以复现。我们提出了 Async-RBench,一个用于评估 LLM 代理中异步任务执行的基准测试,包含涵盖八种场景的 200 个可执行任务。场景控制器通过预定义的任务状态条件来调控结果的交付,而事件响应契约(ERC)则规定了每种响应应满足的要求

事件进展与其他报道

Nemotron 3.5 Bolt 74B-A9B 24GB:一种用于本地人工智能的视觉-语言混合模型

arXiv:2610.33039v1 发布类型:新 摘要:我们推出了 Nemotron 3.5 Bolt 74B-A9B 24GB,这是一种混合型 Mamba-Transformer 视觉语言模型,可在本地智能体驱动的工作负载中实现每 GB 内存的计算速度与智能性能的最优平衡。该模型源自 Nemotron 3.5 Super VL 120B-A12B 系列,通过结合 Star Elastic 压缩与 2 位量化感知蒸馏技术,适用于内存受限的部署场景。该模型针对推理、智能体工具调用以及网页与终端交互进行了优化。此外,我们还训练了一款名为 LiLiCorr 的投机性起草器,并随模型一同发布,以达到预期的推理速度。最终得到的模型在多项通用智能体任务基准测试中,相较于具有相似内存占用和速度的领先模型,实现了更高的准确率。

新闻源配图 · arXiv cs.CV
事件进展与其他报道

超越收益:用于代理技能退役的技能内化度量

arXiv:2610.32322v1 发布类型:新 摘要:LLM智能体从公共技能中心检索技能,这些中心最多可存储约10万条记录,并为众多模型提供服务。随着模型性能的不断提升,技能中心必须识别出某一模型已内化哪些技能——即该模型已不再依赖这些技能——并将其从该模型的技能库中移除;然而,目前尚无可靠的方法来衡量技能的内化程度。现有规则仅依据有无某项技能时的运行表现差异来进行判断,而这种差异往往微乎其微。无论是对于已被内化的技能,还是在模型与该技能均无法实现相应能力的情况下——我们称这种状态为“未被发现”——其收益几乎都接近于零。因此,我们改采另一种做法:暂不启用该技能,而是基于由该技能衍生的任务对模型进行评分,并且只有当另一模型确实因该技能而获益时,才信任模型在无辅助条件下的高分;因为事实上,近一半的高分都来自那些并未真正体现该技能作用的任务。

事件进展与其他报道

溶剂:用于多步逆合成的长 horizon 推理

arXiv:2610.32308v1 发布类型:新 摘要:多步逆合成反应需要通过一系列连续的反应步骤,将目标分子逐步转化为可购买的构建模块;近期的研究开始借助大型语言模型(LLM)的推理能力来解决这一任务。在最新进展中,LLM推理已进入长时序阶段:模型能够在相互依赖的各步之间持续追求目标、与环境交互并根据反馈进行调整。这一转变显著提升了LLM的能力,人工智能驱动的数学研究领域也由此取得了突破性进展。在此前沿领域,我们提出了 Solvent,一款拥有80亿参数的LLM,成功将长时序推理扩展至多步逆合成。通过两轮的后训练课程,Solvent学会了在迭代过程中穿插……

事件进展与其他报道

DMAIC-Bench:面向多阶段分析任务中智能体的自我反思与自我约束

arXiv:2610.32305v1 发布类型:新 摘要:多阶段分析任务要求大型语言模型(LLM)代理利用中间证据来决定是继续、重定向还是停止。自我反思——即代理对其输出进行批判性评估——已得到广泛研究,然而这种反思并不能说明证据是否改变了下一步行动。我们将这一能力称为“自我约束”。现有的代理基准测试大多仅衡量任务完成度或输出质量,而未对这一能力进行检验。DMAIC-Bench 通过围绕精益六西格玛明确的统计前提条件构建的、涵盖四个行业领域中15个工业案例的97个种子任务,对此进行了评估。成对的反事实变体在相同的工作流位置上要求采取相反的操作,从而能够区分有依据的自我约束与无差别的停止行为。我们采用……对执行轨迹进行评估。

事件进展与其他报道

LeafSkill:用于递归LLM智能体的高效叶级动作定位

arXiv:2610.32412v1 发布类型:新 摘要:递归式大型语言模型(LLM)智能体通过分解、执行与环境反馈来解决长周期任务。然而,在生成一个原子级子任务后,它们往往再次调用同一款大型模型,将熟悉的指令转化为可执行的动作。我们观察到,高层规划具有任务特定性,而底层动作的具身化则在不同任务间反复出现,并且能够对照环境允许的动作进行验证。为此,我们提出了 LeafSkill,这是一种外部复用层,它能够检索语义相关的具身化经验,将动作模板绑定到当前对象与可执行动作上,并借助一个轻量级的 17 亿参数选择器来决定采用已绑定的动作,或将未发生变化的子任务交由原始智能体继续处理。技能始终处于外

事件进展与其他报道

一种基于统一排队模型的框架,用于在突发性工作负载下对无服务器自动伸缩策略进行比较评估

arXiv:2610.35564v1 发布类型:新 摘要:无服务器计算平台必须在适应高度突发且不可预测的工作负载的同时,确保服务质量(QoS)。为应对工作负载的波动并满足QoS要求及服务等级协议(SLA),这些平台依赖于资源的自动扩展。商业化的函数即服务(FaaS)平台采用不同的自动伸缩策略,以动态调整活跃函数实例的数量和可用的处理能力。在本研究中,我们对三种具有代表性的自动伸缩策略进行了建模与比较:按请求伸缩(SPR)、并发级别伸缩(CLS)以及基于指标的伸缩(MBS)。为了实现独立于各厂商特定实现的系统化评估,我们……

事件进展与其他报道

前缀键值对的重要性:在循环语言模型中用于自推测解码的RIPE缓存

arXiv:2610.34436v1 发布类型:新 摘要:循环语言模型在每个标记上会运行 $R$ 轮层,因此其键值(KV)缓存为每递归层保存 $R$ 个平面,而自推测解码(先用几轮进行初步推断,再用全部 $R$ 轮验证)会读取所有这些平面。我们发现,前缀键值的影响主要体现在较晚的阶段:在扰动幅度相同的情况下,第 25 至 32 轮的敏感度分别是第 2 至 9 轮的 $e^{15.0}$ 倍(Huginn-0125)和 $e^{12.8}$ 倍(Raven-Llama),且各平面随循环次数呈几何级数逼近最后一个平面,每轮分别达到 0.88 和 0.81。至于是否仅保留最深层的平面即可,这取决于晚期平面的成熟程度:在 Raven 上,仅存储最深层平面与从 bf16 转换为 fp32 的效果几乎无差异;而在 Huginn 上,仅有 1% 的位置就贡献了其误差的 74%。我们将这一发现转化为 RIPE,该方法存储最深层的

事件进展与其他报道

首部AI院线电影遇冷,场均人次0.1人

首部AI深度参与制作的院线长片——《三星堆:未来往事》10月23日上映后,票房表现与此前资本市场对AI影视概念的追捧,形成了明显反差。猫眼专业版数据显示,截至10月26日午间,这部100分钟的电影累计综合票房119.2万元,当日排片8469场,上座率0.1%,场均人次仅0.1人。10月24日、25日,该片场均人次均为2人。灯塔专业版数据...

首部AI院线电影遇冷,场均人次0.1人
事件进展与其他报道