跳到正文
AI NEWS JOURNAL
AI, IN PERSPECTIVE

搜索 AI 资讯

检索标题、摘要与正文,把分散的信息连起来。

按发布时间排序

ToolTurns:多轮对话中 LLM 智能体的基准测试

arXiv:2611.14925v1 公告类型:新 发表摘要:使用工具的语言模型正越来越多地应用于对话场景,但大多数大规模工具使用基准测试都聚焦于孤立的请求。我们提出了 ToolTurns 基准,包含 2,620 个问题,涵盖 1,827 种工具和 11,004 个 API 端点,涉及 47 个类别。每个对话均从一个有意描述不充分的请求开始,并通过两个依赖上下文的后续请求延续,以测试澄清、工具使用以及对话上下文的保持能力。我们还引入了一个开源用户模拟器,该模拟器可通过对话揭示被隐藏的上下文并生成后续请求,并配备了一个检查—修正流水线来改进其对话轮次。在九个语言模型中,表现最佳的智能体能够解决 69.6% 的单个请求,但仅完成 39.8% 的完整对话。根据这一评估协议,所有受测模型在后续请求上的成功得分均低于初始请求,而对话质量评分与任务成功率对模型的排名可能大相径庭。成对的轮次级评估表明,检查—修正流程能减少检测到的对话缺陷,且盲测的人类评价更倾向于修订后的对话轮次。ToolTurns 为评估智能体能否在使用工具的多轮对话中持续达成任务目标提供了测试平台。

SetPrint:通过响应变化的集合对应进行黑盒大型语言模型指纹识别

arXiv:2611.12950v1 公告类型:新 题要:黑盒大模型指纹识别旨在仅通过观察对输入查询的输出响应,判断目标模型是否源自某个源模型。揭示这种关联的一种方法是扰动每个查询,并观察两个模型产生的相应响应,从而得到两组对应的响应变化。这两组数据提供了两种互补的信息来源:每组内部响应变化之间的关系,以及两组之间响应变化的对应关系。然而,现有方法并未充分挖掘这两方面的信息。我们提出了 \textbf{SetPrint},一种无需训练的方法,能够同时捕捉组内关系和组间对应。SetPrint 将每个响应变化相对于其所在组的平均变化进行表示,然后比较由相同扰动引发的两个模型的变化。在 LeaFBench 上,SetPrint 的性能始终优于现有的无训练黑盒指纹识别方法。进一步分析表明,这些优势源于组内关系和组间对应两方面。

CulturalCrosswords:一个由答案约束和网格填空组成的多语言基准测试集

arXiv:2611.10044v1 公告类型:新 提要:当多个答案都能符合谜题时,精确匹配评分可能会惩罚有效的回应。CulturalCrosswords 测试了答案约束如何影响大型语言模型(LLM)解答文化类谜题,这类谜题的解答依赖于特定社群的知识。我们从42种语言的众包谜题中构建了53份填字游戏,并在每套线索的五个版本上评估了11种 LLM 配置:普通批次、带长度提示的批次、带长度和部分答案提示的批次,以及要求提供答案列表或完整网格的填字游戏。在包含备选答案的962条线索中,与参考答案的一致性在加入长度约束后提升了22.8个百分点,而仅接受备选答案并给予相应分数时仅提升8.4个百分点。因此,部分收益似乎源于对所需答案形式的选择。填字游戏输入使所有交叉处具有兼容答案的比例提高了9.7个百分点;要求填写完整网格则揭示了各模型之间的显著差异。该基准测试区分了与参考答案的一致性,与生成能够相互匹配并占据正确单元格的答案的能力。

EvoCache:利用公共缓存锚点加速浏览器中的大语言模型交付

arXiv:2611.04638v1 公告类型:新 基础摘要:大型语言模型(LLM)可以直接在浏览器中运行,但通常需要先下载数百 MiB 甚至数 GiB 大小的模型文件。同一款 LLM 往往由不同发布者重新打包;这些文件内容高度相似,但字节级差异导致全文件缓存无法复用它们。我们提出了 EvoCache,一种由浏览器管理的 LLM 分发系统。EvoCache 利用由浏览器预先存储且独立于浏览历史的公共缓存锚点,无损重建站点请求的发布者版本。站点仅需指定目标,浏览器则选择锚点并执行重建,整个过程对站点保持透明。对 1,000 个公开仓库的审计发现,100 款最受欢迎的 LLM 中有 61 款由多个发布者提供,且 98.1% 的重叠版本无法通过全文件缓存复用。在 23 对跨发布者模型包组合中,EvoCache 实现了 77.3% 的流量中位数降低,性能优于所有对比方案。在 240 项真实的端到端浏览器实验中,与普通完整下载相比,EvoCache 将网络流量降低了 78.9%,页面就绪时间缩短了 64.2%。对于其他站点留下的缓存数据,EvoCache 还通过为缓存命中和未命中使用相同的返回时间,保护用户的跨站缓存隐私。

用于模型校准的均摊化局部后验推断及其在海洋湍流闭合中的应用

arXiv:2610.37731v1 发布类型:新 摘要:模型偏差可能导致单一校准参数无法在整个上下文域内重现物理响应。此外,观测与上下文中的不确定性会影响校准过程,必须予以考虑并加以量化。我们通过根据观测值与目标上下文的接近程度对观测似然进行加权,构建了一族局部后验分布。高斯型局部化权重借助协方差膨胀来纳入上下文不确定性,并在域边界处进行反射处理,同时可选地针对不均匀的上下文采样进行修正。一种条件归一化流通过均摊化的变分推断方法近似该族后验分布。将这些局部后验分布按照预设的上下文测度进行整合,即可得到

事件进展与其他报道

什么是食物相似性?印度菜中的视觉表征与检索

arXiv:2610.37867v1 发布类型:新 摘要:食物相似性是检索、推荐、替代等食品计算任务的基础,然而目前对食物表征的评估往往仅着眼于身份的保持。我们探讨在身份之外,食物相似性还会发生怎样的变化:不同的视觉表征如何将食物组织成具有特定关系的邻域,这些邻域又揭示或掩盖了哪些烹饪上的关联,以及这些结构在不同表征之间是否具有一致性。印度菜提供了一个颇具挑战性的场景:在视觉上相似的食物可能拥有不同的烹饪身份,而同一烹饪家族内的食物在外观上却可能存在显著差异。本文基于扩展后的Khana数据集,并使用七种涵盖卷积神经网络、Transformer等架构的预训练视觉表征,

事件进展与其他报道

FilingLoop:用于企业披露审查与修订的LLM智能体评估与演化

arXiv:2610.37905v1 发布类型:新 摘要:诸如美国证券交易委员会EDGAR等公开披露数据库通过网络访问企业申报文件,为知情投资提供支持。借助语言模型智能体对这些文件进行审查时,需要发现相关文档中未明示的缺陷、获取缺失的企业信息,并验证所请求的修订是否符合有据可依的要求。然而,现有的金融问答评测难以充分反映此类交互能力。我们提出了\textbf{FilingLoop},一个用于企业披露审查与修订的交互式基准测试及自进化智能体框架。FilingLoop以美国证券交易委员会的历史往来函件为基础,从96家公司的文件中重构出380项以首次公开募股审查为主的任务。

事件进展与其他报道

轮辐,而非环:重新审视语言模型中的工作日流形

arXiv:2610.37796v1 发布类型:新 摘要:近期研究提出,大型语言模型可能将某些概念表示为多维流形,而非单一方向。利用这些流形来解释或引导模型的表征时,通常假设沿流形移动对应于所表征概念的连续变化。在本研究中,我们针对典型的工作日流形检验了这一连续流形假设。尽管其具有引人注目的圆形几何结构,我们发现工作日的表征更像七个按圆周排列的离散状态,而非连续的环状结构。首先,我们证明局部敏感性在七个星期几处各有一个极小值,从而在流形内引导下,表征与行为之间呈现出阶梯式的映射关系。其次,w

事件进展与其他报道

面向大语言模型对齐的排序感知差分隐私发布方法

arXiv:2610.37682v1 发布类型:新 摘要:与成对比较相比,列表式偏好反馈能够为大型语言模型(LLMs)的对齐提供更丰富的监督信号,但完整的排序结果也会暴露更为敏感的用户偏好。现有的隐私保护型对齐方法主要聚焦于成对反馈,而本地差分隐私(LDP)下的列表式对齐仍处于未被探索的状态。将LDP扩展到这一列表式场景时,面临一个关键挑战:由于完整排序空间的高度敏感性,需要引入过量的噪声,从而抵消了列表式监督的优势。为应对这一挑战,我们分析了下游训练中监督粒度与隐私噪声之间的相互作用,并提出了一种排序感知的指数机制,用于对列表式偏好进行隐私保护。

事件进展与其他报道

面向医学影像的负责任量子机器学习:针对敏感子群体的公平性审计

arXiv:2610.37819v1 发布类型:新 摘要:量子机器学习(QML)正日益被应用于医学分类任务,然而其在考虑子群体公平性标准下的表现仍缺乏深入研究。我们针对医学影像领域中的经典与量子分类器开展了一项实证性的公平性审计,并假设量子机器学习本身并不天然具备公平性。本研究评估了两种场景:基于DDI数据的皮肤病变分类(敏感属性为Fitzpatrick肤色类型)以及基于CheXpert衍生数据的胸部X光片分类(敏感属性为年龄组)。利用ResNet-18提取的特征嵌入,我们在基准设置及三种缓解策略下训练SVM、MLP、QSVM和QCNN模型:可微分的等权几率(EO)正则化、梯度反转学习(GRL),以及二者结合。同时,以基础模型(PanDerm、EVA-X)作为外部参考。

事件进展与其他报道

面向推理的大型语言模型的监督微调:综述

arXiv:2610.37681v1 发布类型:新 摘要:近年来,大型推理模型在解决复杂任务方面展现出卓越的能力,而基于长链式思维数据的监督微调(SFT)则成为激发并提升其推理能力的关键基础。尽管在改进与分析面向推理的监督微调方面取得了快速进展,但该领域仍缺乏一份系统性的综述来整合其快速增长的文献。为填补这一空白,我们对近期推理相关监督微调的最新进展进行了全面回顾,并从方法设计与分析研究的双重视角审视相关文献。首先,我们梳理了监督微调全流程中的方法学改进,并将其划分为以数据为中心的方法与以算法为中心的

事件进展与其他报道

FlatCake:一种用于大语言模型推理的扁平化KV缓存存储架构

arXiv:2610.38355v1 发布类型:新摘要:KV缓存复用能够加速大语言模型的推理,但现有系统将主机DRAM和NVMe SSD视为分层结构,其中DRAM充当中间缓存。然而,实际的大语言模型工作负载打破了这一分层结构的两个前提。首先,双模态复用使DRAM的时间过滤失效,因为工作负载要么由具有较长复用距离的一次性块主导,要么由超过DRAM容量的数GB级智能体会话主导,从而将SSD置于关键的读取路径上。其次,DRAM的暂存与按驱逐顺序布局导致SSD恢复出现瓶颈。为在途前缀保留主机暂存缓冲区会在负载下引发争用,进而中止预取操作;而增量式驱逐则会将会话的块分散到整个SSD上,阻碍大规模顺序读取。我们 p

事件进展与其他报道

Seq@K:在序列反馈下的语言模型评估

arXiv:2610.37859v1 发布类型:新 摘要:语言模型驱动的智能体与以往的智能系统存在根本性差异,其能够在上下文中从自然语言中学习。这一能力使智能体能够根据反馈逐步优化自己的回答,而这正是现代智能体工作流中普遍采用的操作模式。然而,学术界目前主要依据Pass@1或Pass@K等指标对模型进行排名,这些指标无法反映模型如何利用先前尝试的反馈信息。我们提出了Seq@K,这是一种自然的评估方案,用于衡量模型在每次先前失败后获得反馈的情况下,是否能在K次连续尝试内解决问题。与那些考察长期规划的多轮智能体基准测试不同,Seq@K将重点聚焦并形式化了从……中进行迭代优化的核心能力。

事件进展与其他报道

FinLLM-KG:用于算法交易中金融情绪分析的知识图谱增强型大语言模型

arXiv:2610.36083v1 发布类型:新 原文摘要:生成式人工智能的最新进展通过后训练的金融领域大型语言模型(LLMs),显著提升了金融情绪分析的性能。然而,现有方法仍局限于孤立地预测每篇文章的情绪,且运行机制如同“黑箱”,这限制了对上下文的理解,并阻碍了其在高风险金融决策中的应用。为此,我们提出了FinLLM-KG,这是一种与模型无关的框架,将因果推理的大语言模型与金融知识图谱相结合,在推理阶段注入来自美国证券交易委员会10-K文件的、具有时间关联性的公司级知识,而无需更新模型权重。在FinLLM-KG中,上下文既可以以自然语言形式的公司简介提供,也可以以一小部分关系作为输入。

事件进展与其他报道

一种用于前沿大型语言模型中阿希服从现象的定量方法

arXiv:2610.36668v1 发布类型:新 摘要:阿希服从实验近来作为衡量大型语言模型(LLMs)中从众行为的一种手段而备受关注。尽管先前的研究主要致力于证明大型语言模型中的从众现象,但我们的工作在此基础上进一步引入了定量分析维度。我们并未针对一系列问题对前沿大型语言模型进行抽样,而是通过反复采样同一个问题,利用大型语言模型的概率特性生成答案分布。由此,我们可以比较模型在被呈现人为制造的共识前后答案分布的变化。实验结果证实,前沿大型语言模型确实存在从众现象,这与先前文献的结论相一致;同时,借助我们提出的分布间对比方法,还提供了更多……

事件进展与其他报道

ProtoEEG:用于脑电图视觉解码的结构化原型对齐

arXiv:2610.33065v1 发布类型:新 摘要:由于头皮记录存在噪声、空间分辨率较低,且在不同试验和受试者之间具有较大差异,脑电图(EEG)的视觉解码仍然十分困难。大多数系统将每次试验与一个密集的图像嵌入对齐,然而该嵌入同时混杂了语义内容以及与具体实例相关的纹理、姿态和背景信息。这种做法往往需要EEG本身并不具备的细节信息,且未能明确说明支持预测的视觉因素。我们提出\textbf{ProtoEEG},一种基于原型的框架,它将EEG与图像的对齐问题重新表述为在共享的可学习视觉码本之上进行软性组合。一个可训练的EEG编码器与一个冻结的视觉教师共同生成针对同一$K=64$个原型的分配分布。它们的加权重构构成了一种结构化的表征

事件进展与其他报道

MANTA:在异步BFT中解锁DAG的灵活性

arXiv:2610.34419v1 发布类型:新 摘要:基于有向无环图(DAG)的拜占庭容错(BFT)协议通过用并行的区块提案取代单主节点的提案路径,并借助共享图结构将这些提案相互连接,从而在共识设计上实现了重大转变;其中,引用机制用于编码共识证据。然而,在异构广域网(WAN)环境下,现有方案由于拖后腿效应而面临轮次延长和性能下降的问题。其根本原因在于僵化的轮次推进机制:各副本以同步的方式按固定轮次推进,必须等待前一轮中足够多的引用后才能继续前进。我们提出了一种适用于异步BFT共识的灵活DAG扩展框架。我们的关键观察是:尽管引用法定人数对于安全性和活性至关重要,但并不需要在每一轮推进时都予以阻塞;相反,连通性r

事件进展与其他报道

明智地低语:用于ASR微调的智能子集选择

arXiv:2610.32997v1 发布类型:新 摘要:诸如OpenAI的Whisper等自动语音识别(ASR)模型在语音识别质量方面取得了显著提升,但微调成本依然高昂,尤其是在拥有大量已转录音频的情况下。这使得许多从业者难以将这些模型适配到新的语言或领域。在本研究中,我们提出了一种基于嵌入的子集选择方法,用于为ASR微调挑选更小规模的训练集。我们利用Whisper的预训练编码器,将每个音频样本映射到一个固定维度的嵌入空间,并采用贪心的k中心算法来选取多样且具代表性的训练数据子集。我们在希伯来语和丹麦语上对该方法进行了评估,结果表明,k中心选择往往能

新闻源配图 · arXiv cs.CL
事件进展与其他报道

提炼、辩论、发现:以图谱提炼的洞见为多智能体研究构思奠定基础

arXiv:2610.33366v1 发布类型:新 摘要:大型语言模型(LLMs)正越来越多地被用于支持研究思路的生成与科学发现。多智能体辩论通过汇聚多元视角来制定研究构想,为这一任务提供了一种协作式方法。然而,一个关键挑战是如何赋予各智能体独特而有意义的专业知识,以引导其贡献。受研究人员在协作过程中借鉴已有研究经验的启发,我们提出了InsightAgents框架,该框架通过从相关论文的图谱中提炼洞见,构建基于文献的研究型智能体专长。在一条研究脉络中,这些洞见能够追踪研究方法的演进、揭示潜在假设,并识别尚未解决的难题。

事件进展与其他报道

EKT-路由器:面向具身视觉-语言模型的专家证据对齐

arXiv:2610.33044v1 发布类型:新 摘要:具身视觉-语言模型必须根据部分且不断变化的观测结果来回答问题。其成功既取决于所选择的推理能力,也取决于该能力所能获取的证据。专家路由器通过调整内部计算来应对,而工具增强系统则通过获取外部证据来弥补;若单独选择其中一种方式,可能会导致合适的专家缺乏其所需的证据。我们提出了 EKT-Router,这是一种有限框架,能够同时选择能力专家、可选知识以及感知工具。基于结果的特征表示了通用专家、空间推理专家和时空推理专家之间的优势互补。一个联合效用函数在调用预算范围内对完整的专家—证据路径进行评分。获取完成后,数据包验证器会确认有效数据包

新闻源配图 · arXiv cs.CV
事件进展与其他报道