跳到正文
AI NEWS JOURNAL
AI, IN PERSPECTIVE

搜索 AI 资讯

检索标题、摘要与正文,把分散的信息连起来。

按发布时间排序

ToolTurns:多轮对话中 LLM 智能体的基准测试

arXiv:2611.14925v1 公告类型:新 发表摘要:使用工具的语言模型正越来越多地应用于对话场景,但大多数大规模工具使用基准测试都聚焦于孤立的请求。我们提出了 ToolTurns 基准,包含 2,620 个问题,涵盖 1,827 种工具和 11,004 个 API 端点,涉及 47 个类别。每个对话均从一个有意描述不充分的请求开始,并通过两个依赖上下文的后续请求延续,以测试澄清、工具使用以及对话上下文的保持能力。我们还引入了一个开源用户模拟器,该模拟器可通过对话揭示被隐藏的上下文并生成后续请求,并配备了一个检查—修正流水线来改进其对话轮次。在九个语言模型中,表现最佳的智能体能够解决 69.6% 的单个请求,但仅完成 39.8% 的完整对话。根据这一评估协议,所有受测模型在后续请求上的成功得分均低于初始请求,而对话质量评分与任务成功率对模型的排名可能大相径庭。成对的轮次级评估表明,检查—修正流程能减少检测到的对话缺陷,且盲测的人类评价更倾向于修订后的对话轮次。ToolTurns 为评估智能体能否在使用工具的多轮对话中持续达成任务目标提供了测试平台。

CulturalCrosswords:一个由答案约束和网格填空组成的多语言基准测试集

arXiv:2611.10044v1 公告类型:新 提要:当多个答案都能符合谜题时,精确匹配评分可能会惩罚有效的回应。CulturalCrosswords 测试了答案约束如何影响大型语言模型(LLM)解答文化类谜题,这类谜题的解答依赖于特定社群的知识。我们从42种语言的众包谜题中构建了53份填字游戏,并在每套线索的五个版本上评估了11种 LLM 配置:普通批次、带长度提示的批次、带长度和部分答案提示的批次,以及要求提供答案列表或完整网格的填字游戏。在包含备选答案的962条线索中,与参考答案的一致性在加入长度约束后提升了22.8个百分点,而仅接受备选答案并给予相应分数时仅提升8.4个百分点。因此,部分收益似乎源于对所需答案形式的选择。填字游戏输入使所有交叉处具有兼容答案的比例提高了9.7个百分点;要求填写完整网格则揭示了各模型之间的显著差异。该基准测试区分了与参考答案的一致性,与生成能够相互匹配并占据正确单元格的答案的能力。

暴露并不等于承诺:针对使用工具的智能体的潜在监控器的双层评估

arXiv:2610.37679v1 发布类型:新 摘要:使用工具的语言模型容易受到间接提示注入的影响,而越来越多的研究试图通过探查模型内部来在不安全操作执行前将其捕获,但所得结果却存在严重分歧。我们认为,这种分歧很大程度上源于评估方法上的缺陷,并提出了一种双层评估协议:在评估与训练数据集中,将“提示注入”与“行为承诺”加以分离。在主要的Qwen AgentDojo基准测试集上,那些基于朴素的“不安全与其余”混合对比进行训练的监控器,大多仅学会识别“暴露”:它们会标记出所有被暴露的轨迹,无论智能体是否真正执行了相应操作,且几乎无法预测哪些情况最终会导致不安全行为。而当仅针对已暴露案例重新训练后,同一类探测器便能预测模型自身发出的不安全工具调用,时间延迟长达两秒。

事件进展与其他报道

评估与改进用于理解测序协议的 AI 智能体

arXiv:2610.37851v1 发布类型:新 摘要:现有的科学智能体基准测试很少评估智能体是否能够重建测序协议所指定的精确分子结构和生成流程,而这一能力对于分析定制化测序实验至关重要。我们提出了 LibStructBench,一个基于文档的基准测试,用于重建测序文库结构和分子工作流程。我们的实验表明,前沿的智能体通常能够生成大致正确的重建结果,但在精确重建方面仍不够可靠,尤其是在分子状态表示和工作流程连通性方面。更换底层语言模型所带来的平均性能差异,甚至大于更换智能体框架所产生的差异,且这种差异具有统计学上的显著性。

事件进展与其他报道

在不阅读解释的情况下进行评分:自动化可解释性评估中的结构化捷径

arXiv:2610.37676v1 公告类型:新摘要:自动化可解释性通过让模型逐个标记地预测特征在评估样本上的激活位置,或判断标记的标记是否与该特征相符,从而对稀疏自编码器(SAE)特征的解释进行评分。我们发现,评估数据的标准处理流程可以在不读取解释的情况下完成评分。在Neuronpedia存储的针对500个随机GPT-2小型特征的模糊测试运行中,91.3%的激活样本都以中心标记为峰值进行裁剪;而当中心标记被标记时判定为“是”的规则,其平衡准确率达到了0.979,相比之下,基于存储的LLM评分器(根据管道代码重新计算的逐项判决结果)的准确率为0.838;仅依据标记数量的规则则达到了0.969。T

事件进展与其他报道

Seq@K:在序列反馈下的语言模型评估

arXiv:2610.37859v1 发布类型:新 摘要:语言模型驱动的智能体与以往的智能系统存在根本性差异,其能够在上下文中从自然语言中学习。这一能力使智能体能够根据反馈逐步优化自己的回答,而这正是现代智能体工作流中普遍采用的操作模式。然而,学术界目前主要依据Pass@1或Pass@K等指标对模型进行排名,这些指标无法反映模型如何利用先前尝试的反馈信息。我们提出了Seq@K,这是一种自然的评估方案,用于衡量模型在每次先前失败后获得反馈的情况下,是否能在K次连续尝试内解决问题。与那些考察长期规划的多轮智能体基准测试不同,Seq@K将重点聚焦并形式化了从……中进行迭代优化的核心能力。

事件进展与其他报道

AdaptTok-Indic:面向印度语言的脚本感知自适应分词

arXiv:2610.33017v1 发布类型:新 摘要:在以英语为主导的语料库上训练的多语言分词器往往会对印度语系语言进行过度切分,导致令牌序列更长,并加剧了不同书写系统之间的分词差异。我们提出了 AdaptTok-Indic,这是一种专为印度语系语言设计的自适应分词扩展方案,它将 Unicode 规范化的预处理与显式的印度语系连字处理、基于书写系统的路由策略,以及与小型 Transformer 语言模型联合训练的字节级边界预测相结合。在孟加拉语和印地语上进行评估,并额外针对古吉拉特语、泰米尔语和泰卢固语进行了测试,AdaptTok-Indic 在令牌生成密度方面优于面向印度语系的基准分词器 SentencePiece BPE,以及独立实现的 MAGNET 式基准。在五项已记录的…

事件进展与其他报道

社会世界模型评估差距

arXiv:2610.33014v1 发布类型:新 提要:谈判助手无需准确预测对方的反应,也能达成一笔不错的交易。我们探讨的是,针对社会世界模型的评估是否直接检验了这种预测能力。我们对1999年至2026年间发表的113篇相关研究进行了梳理。其中9项主要评估测量的是,当系统或实验者选定某一行动后,真实个体对该行动的反应。仅有2项还把明确的反应预测与实际反应进行了对比。这些研究的预测模型所使用的信息仅限于行动被选定之时,而用于评估的反应数据在拟合过程中已被排除;且两项研究均对干预措施进行了随机化处理。此外,我们对25篇有关语言模型的研究进行了全文核查,未发现任何一项实验同时满足上述条件。其余评估则侧重于当前状态推断、任务成功率或预测准确性等指标。

事件进展与其他报道

音频-语言模型中可控说话风格字幕生成的基准

arXiv:2610.33036v1 发布类型:新 摘要:口语风格字幕(SSC)旨在生成自然语言描述,用于刻画语音的表达方式,捕捉诸如声音音色、韵律和表现力等副语言特征。许多下游应用,包括对话式 AI 智能体、可控语音生成以及大规模音频标注,都需要针对特定维度的风格字幕,以描述语音的特定方面(例如说话者特质、情感或表达风格),而非单一的无差别描述。然而,现有研究缺乏对可控口语风格字幕的统一建模方法。我们通过将 SSC 定义为一项遵循指令的音频-语言任务来弥补这一不足,在该任务中,明确的指令会指定口语风格的维

事件进展与其他报道

面向历史文献转录的OCR系统实体感知评估

arXiv:2610.33004v1 发布类型:新 提要:光学字符识别(OCR)对于历史档案的数字化至关重要,然而诸如字符错误率(CER)等标准评估指标并不一定能反映诸如姓名、日期和标识符等重要信息是否得以保留。在本研究中,我们从实体层面分析OCR错误,以此作为评估历史文献中OCR质量的补充视角。我们使用了一个公开的基准数据集,包含来自Berrutti档案馆的175份文档,并辅以5,209个经人工标注的实体提及,这些标注将在论文被接受后公布;在此基础上,我们比较了序列识别型OCR系统、专为OCR设计的视觉—语言模型以及通用型视觉—语言模型。除了全局转录准确率之外

事件进展与其他报道

一种基于统一排队模型的框架,用于在突发性工作负载下对无服务器自动伸缩策略进行比较评估

arXiv:2610.35564v1 发布类型:新 摘要:无服务器计算平台必须在适应高度突发且不可预测的工作负载的同时,确保服务质量(QoS)。为应对工作负载的波动并满足QoS要求及服务等级协议(SLA),这些平台依赖于资源的自动扩展。商业化的函数即服务(FaaS)平台采用不同的自动伸缩策略,以动态调整活跃函数实例的数量和可用的处理能力。在本研究中,我们对三种具有代表性的自动伸缩策略进行了建模与比较:按请求伸缩(SPR)、并发级别伸缩(CLS)以及基于指标的伸缩(MBS)。为了实现独立于各厂商特定实现的系统化评估,我们……

事件进展与其他报道

AWS发布基于CDK的托管Bedrock知识库智能检索参考实现

AWS于2026年10月26日发布博客,介绍一套使用AWS CDK构建的企业级智能检索(agentic retrieval)参考实现,专用于Amazon Bedrock托管型知识库(Managed Knowledge Base),支持跨知识库语义路由、迭代检索、带引用的溯源回答及七层可观测性。

推荐理由:该材料为AWS官方技术博客(2026-10-26发布),内容聚焦已上线能力(如2024年8月推出的Managed KB、AgenticRetrieveStream API)、可验证部署结构(四栈CDK应用)、明确限制(区域可用性、仅限托管KB)及开源实现细节,无性能断言或第三方背书,符合事实性与时效性要求。

事件进展与其他报道

Nace AI 推出用于搜索 AI 智能体的 Drex:在 BrowseComp-Plus 上的准确率为 92.05%,并进行了 12.6 次搜索调用

Nace AI 发布了 Drex for Search,将其 Drex 决策模型应用于 AI 智能体的文档搜索。Nace 在 BrowseComp-Plus 上取得了 92.05% 的成绩,仅需 12.6 次搜索调用,并且在 OfficeQA Pro 上实现了更少的智能体交互次数。该文章“Nace AI 为 AI 智能体发布 Drex for Search:在 BrowseComp-Plus 上取得 92.05% 成绩,仅需 12.6 次搜索调用”首发于 MarkTechPost。

事件进展与其他报道

篡改的机器学习:评估大型语言模型对机器学习研究的判断

arXiv:2610.32114v1 发布类型:新 摘要:加速人工智能对齐研究进展的一种方法,是将对齐研究的部分环节实现自动化。这需要能够可靠地完成难以监督的研究任务的系统,包括识别研究方案中的缺陷,以及评估某项实验设计是否支持其预期结论。为评估这一能力,我们提出了“Tampered ML”基准,包含1,858个项目对,每一对均由一篇已发表的机器学习论文重构而成的实验方案,以及一个经过轻微修改、引入特定方法学缺陷的反事实版本组成。模型需在两种呈现顺序下均能识别出方法上更为合理的方案。一项针对分层抽样的人工验证研究估计,其中86%的项…

事件进展与其他报道

SAGE基准与GAR框架发布:推动多模态语义对齐评估

2026年10月26日,arXiv发布论文arXiv:2610.31838v1,提出Sense-Aligned Grounding Evaluation(SAGE)——一个统一的10候选图像选择基准,并配套训练无关的Gloss-Augmented Reasoning(GAR)框架,用于跨名词、动词和实体中心的多模态接地评估。

新闻源配图 · arXiv cs.CL

推荐理由:该研究首次将VWSD、VerSe和WikiDiverse三类任务统一为术语中心的接地评测协议,引入混淆难负样本与上下文交换诊断机制,并通过实证表明定义增强与约束引导推理的协同可显著提升Hits@1指标(65.90→71.22),为多模态语义对齐提供了更细粒度、可解释的评估新范式。

事件进展与其他报道

面向开放ISA的超级计算:RISC-V、Arm与x86架构在HPC工作负载上的比较研究

arXiv:2610.32632v1 发布类型:新 摘要:RISC‑V 正在成为高性能计算(HPC)领域的候选架构,但其与成熟的 x86 和 Arm 处理器相比的竞争力仍难以评估,因为现有研究采用的平台、工作负载和方法各不相同,且很少考虑能效。我们的工作基于统一的软件栈和评估方法,对当前主流的 HPC RISC‑V、Arm 和 x86 处理器进行了全面评测。我们详细分析了 Sophgo SG2044,并将其与 NVIDIA Grace CPU 超级芯片以及 Intel Xeon Platinum 8480+ 在四项 HPC 基准测试(STREAM、HPL、HPL‑MxP 和 HPCG)以及四款典型应用(iPIC3D、PLUTO、OpenFOAM 和 llama.cpp)上进行了对比。用于本研究的 HPL‑MxP 版本链接至 OpenBLAS,并以此为基础进行构建和测试……

Toward Open ISA Supercomputing: A Comparative Study of RISC-V, Arm, and x86 Architectures on HPC Workloads
事件进展与其他报道