跳到正文
AI NEWS JOURNAL
AI, IN PERSPECTIVE

搜索 AI 资讯

检索标题、摘要与正文,把分散的信息连起来。

按发布时间排序

SetPrint:通过响应变化的集合对应进行黑盒大型语言模型指纹识别

arXiv:2611.12950v1 公告类型:新 题要:黑盒大模型指纹识别旨在仅通过观察对输入查询的输出响应,判断目标模型是否源自某个源模型。揭示这种关联的一种方法是扰动每个查询,并观察两个模型产生的相应响应,从而得到两组对应的响应变化。这两组数据提供了两种互补的信息来源:每组内部响应变化之间的关系,以及两组之间响应变化的对应关系。然而,现有方法并未充分挖掘这两方面的信息。我们提出了 \textbf{SetPrint},一种无需训练的方法,能够同时捕捉组内关系和组间对应。SetPrint 将每个响应变化相对于其所在组的平均变化进行表示,然后比较由相同扰动引发的两个模型的变化。在 LeaFBench 上,SetPrint 的性能始终优于现有的无训练黑盒指纹识别方法。进一步分析表明,这些优势源于组内关系和组间对应两方面。

暴露并不等于承诺:针对使用工具的智能体的潜在监控器的双层评估

arXiv:2610.37679v1 发布类型:新 摘要:使用工具的语言模型容易受到间接提示注入的影响,而越来越多的研究试图通过探查模型内部来在不安全操作执行前将其捕获,但所得结果却存在严重分歧。我们认为,这种分歧很大程度上源于评估方法上的缺陷,并提出了一种双层评估协议:在评估与训练数据集中,将“提示注入”与“行为承诺”加以分离。在主要的Qwen AgentDojo基准测试集上,那些基于朴素的“不安全与其余”混合对比进行训练的监控器,大多仅学会识别“暴露”:它们会标记出所有被暴露的轨迹,无论智能体是否真正执行了相应操作,且几乎无法预测哪些情况最终会导致不安全行为。而当仅针对已暴露案例重新训练后,同一类探测器便能预测模型自身发出的不安全工具调用,时间延迟长达两秒。

事件进展与其他报道

在不阅读解释的情况下进行评分:自动化可解释性评估中的结构化捷径

arXiv:2610.37676v1 公告类型:新摘要:自动化可解释性通过让模型逐个标记地预测特征在评估样本上的激活位置,或判断标记的标记是否与该特征相符,从而对稀疏自编码器(SAE)特征的解释进行评分。我们发现,评估数据的标准处理流程可以在不读取解释的情况下完成评分。在Neuronpedia存储的针对500个随机GPT-2小型特征的模糊测试运行中,91.3%的激活样本都以中心标记为峰值进行裁剪;而当中心标记被标记时判定为“是”的规则,其平衡准确率达到了0.979,相比之下,基于存储的LLM评分器(根据管道代码重新计算的逐项判决结果)的准确率为0.838;仅依据标记数量的规则则达到了0.969。T

事件进展与其他报道

3、7、14、17、42:指令微调在语言模型中安装并强化了数字选择启发式方法

arXiv:2610.36178v1 发布类型:新 摘要:我们无需抽样误差,即可测量当被要求生成一个随机数时,语言模型为1至N之间的每个整数所分配的概率。对于固定的提示词,模型会定义一个概率向量;我们通过累加每个整数的得分拼写来计算该向量,而非采用抽样估计,从而消除了限制早期研究[1, 4]的噪声。我们在两个推理栈上,针对多达N=100的五个范围,评估了18条开放权重模型系列,并采用了29种解码配置;其中15个模型同时拥有基础版和指令微调版的检查点,且两者均能给出可用的答案。指令微调使这15对模型中的分布更加不均匀,它引入了一种避免使用整数的启发式方法,并强化了另一种避免接近端点的启发式方法。基础检查点

事件进展与其他报道

先检测再消歧:基于扰动的大型语言模型输入歧义检测

arXiv:2610.36353v1 发布类型:新 摘要:大型语言模型(LLMs)常常将含糊的输入当作具有单一明确含义来回答。这存在严重问题,因为输入歧义是不确定性的一个上游来源:当一个提示可能存在多种有效解释时,关键问题在于模型是否应当直接作出回应。现有的输入不确定性方法通常依赖于由大型语言模型生成的语句或澄清,但这类转换可能在测量歧义之前就已经对输入进行了消歧。我们提出了一种保留标签的扰动框架,用于检测输入歧义,在该框架中,扰动保持与原始输入相近,同时保留其标签。我们通过两种检测器对该原则进行了具体实现:一种是基于规则的黑盒扰动库

事件进展与其他报道

一种用于前沿大型语言模型中阿希服从现象的定量方法

arXiv:2610.36668v1 发布类型:新 摘要:阿希服从实验近来作为衡量大型语言模型(LLMs)中从众行为的一种手段而备受关注。尽管先前的研究主要致力于证明大型语言模型中的从众现象,但我们的工作在此基础上进一步引入了定量分析维度。我们并未针对一系列问题对前沿大型语言模型进行抽样,而是通过反复采样同一个问题,利用大型语言模型的概率特性生成答案分布。由此,我们可以比较模型在被呈现人为制造的共识前后答案分布的变化。实验结果证实,前沿大型语言模型确实存在从众现象,这与先前文献的结论相一致;同时,借助我们提出的分布间对比方法,还提供了更多……

事件进展与其他报道

AdaptTok-Indic:面向印度语言的脚本感知自适应分词

arXiv:2610.33017v1 发布类型:新 摘要:在以英语为主导的语料库上训练的多语言分词器往往会对印度语系语言进行过度切分,导致令牌序列更长,并加剧了不同书写系统之间的分词差异。我们提出了 AdaptTok-Indic,这是一种专为印度语系语言设计的自适应分词扩展方案,它将 Unicode 规范化的预处理与显式的印度语系连字处理、基于书写系统的路由策略,以及与小型 Transformer 语言模型联合训练的字节级边界预测相结合。在孟加拉语和印地语上进行评估,并额外针对古吉拉特语、泰米尔语和泰卢固语进行了测试,AdaptTok-Indic 在令牌生成密度方面优于面向印度语系的基准分词器 SentencePiece BPE,以及独立实现的 MAGNET 式基准。在五项已记录的…

事件进展与其他报道

用于LLM智能体一致性的递归语义分歧

arXiv:2610.33012v1 发布类型:新 摘要:具备工具调用能力的大型语言模型(LLM)智能体,在从相同初始状态出发的多次独立运行中,表现出行为不一致的现象,例如调用不同的工具、产生相互矛盾的输出,或采取截然不同的策略。这种行为上的波动会随时间累积,从而削弱部署的可靠性。现有的评估指标主要通过基于任务完成度的得分来衡量正确性,而未能捕捉智能体在多次执行中的行为一致性。此外,对智能体行为的分析要么停留在词元层面,借助概率分布进行评估;要么聚焦于单次响应层面,采用语义聚类方法,但两者均无法刻画不一致性如何在轨迹的后续步骤中进一步传播。我们提出了递归语义发散(RSD),一种无

事件进展与其他报道

面向集成地面与非地面6G网络中意图驱动的服务编排的知识引导型大语言模型

arXiv:2610.33007v1 发布类型:新 摘要:在集成的地面与非地面(TN/NTN)6G网络中,自然语言服务意图可能存在不完整、模糊或不一致的情况,这使得无约束的大型语言模型生成难以实现面向网络的可靠编排。本文提出了一种知识引导的大型语言模型框架,该框架将语法约束的语义解析与知识图谱驱动的澄清循环相结合,从而为四大典型服务类别生成经过验证、可直接用于编排的服务配置文件。在包含200个样本的意图数据集上,该框架实现了89%的分类准确率和95%的策略有效性,且每条请求平均只需0.66次澄清迭代。与纯大型语言模型基线相比,所提出的框架显著提升了策略的有效性及共

事件进展与其他报道

社会世界模型评估差距

arXiv:2610.33014v1 发布类型:新 提要:谈判助手无需准确预测对方的反应,也能达成一笔不错的交易。我们探讨的是,针对社会世界模型的评估是否直接检验了这种预测能力。我们对1999年至2026年间发表的113篇相关研究进行了梳理。其中9项主要评估测量的是,当系统或实验者选定某一行动后,真实个体对该行动的反应。仅有2项还把明确的反应预测与实际反应进行了对比。这些研究的预测模型所使用的信息仅限于行动被选定之时,而用于评估的反应数据在拟合过程中已被排除;且两项研究均对干预措施进行了随机化处理。此外,我们对25篇有关语言模型的研究进行了全文核查,未发现任何一项实验同时满足上述条件。其余评估则侧重于当前状态推断、任务成功率或预测准确性等指标。

事件进展与其他报道

DMAIC-Bench:面向多阶段分析任务中智能体的自我反思与自我约束

arXiv:2610.32305v1 发布类型:新 摘要:多阶段分析任务要求大型语言模型(LLM)代理利用中间证据来决定是继续、重定向还是停止。自我反思——即代理对其输出进行批判性评估——已得到广泛研究,然而这种反思并不能说明证据是否改变了下一步行动。我们将这一能力称为“自我约束”。现有的代理基准测试大多仅衡量任务完成度或输出质量,而未对这一能力进行检验。DMAIC-Bench 通过围绕精益六西格玛明确的统计前提条件构建的、涵盖四个行业领域中15个工业案例的97个种子任务,对此进行了评估。成对的反事实变体在相同的工作流位置上要求采取相反的操作,从而能够区分有依据的自我约束与无差别的停止行为。我们采用……对执行轨迹进行评估。

事件进展与其他报道

LeafSkill:用于递归LLM智能体的高效叶级动作定位

arXiv:2610.32412v1 发布类型:新 摘要:递归式大型语言模型(LLM)智能体通过分解、执行与环境反馈来解决长周期任务。然而,在生成一个原子级子任务后,它们往往再次调用同一款大型模型,将熟悉的指令转化为可执行的动作。我们观察到,高层规划具有任务特定性,而底层动作的具身化则在不同任务间反复出现,并且能够对照环境允许的动作进行验证。为此,我们提出了 LeafSkill,这是一种外部复用层,它能够检索语义相关的具身化经验,将动作模板绑定到当前对象与可执行动作上,并借助一个轻量级的 17 亿参数选择器来决定采用已绑定的动作,或将未发生变化的子任务交由原始智能体继续处理。技能始终处于外

事件进展与其他报道

这位十七岁的少年写下了哪个答案?——六款前沿语言模型中作者年龄误归因、信心校准失当与非纠正性自我解释的行为学案例研究

arXiv:2610.31946v1 发布类型:新 摘要:三名学生亲手回答了同一道考试题目:“什么是幸福?你幸福吗?”他们在收集时的年龄分别为17岁、28岁和45岁。其中,17岁的学生的答案措辞谨慎、表达正式。在要求将每份答案匹配到特定年龄与性别标签的任务中,大多数前沿语言模型都自信地将其归为成年人。本文报告了一项针对这一失败现象的结构化案例研究,涉及六种模型:Claude Fable 5、Gemini 3.1 Pro、GPT-5.6 Sol、Grok 4.5、GPT-4o(2024)以及 DeepSeek V4。我们共进行了1,081次API调用,在六个实验条件下对3,225条回复进行了评分,这些条件分别调整了表述方式、披露格式以及受众意识相关指令。在匹配任务中,六种模型中有三种的表现接近或处于随机水平(1/3),同时报告的准确率却高达73%至88%。

事件进展与其他报道

篡改的机器学习:评估大型语言模型对机器学习研究的判断

arXiv:2610.32114v1 发布类型:新 摘要:加速人工智能对齐研究进展的一种方法,是将对齐研究的部分环节实现自动化。这需要能够可靠地完成难以监督的研究任务的系统,包括识别研究方案中的缺陷,以及评估某项实验设计是否支持其预期结论。为评估这一能力,我们提出了“Tampered ML”基准,包含1,858个项目对,每一对均由一篇已发表的机器学习论文重构而成的实验方案,以及一个经过轻微修改、引入特定方法学缺陷的反事实版本组成。模型需在两种呈现顺序下均能识别出方法上更为合理的方案。一项针对分层抽样的人工验证研究估计,其中86%的项…

事件进展与其他报道

SAGE基准与GAR框架发布:推动多模态语义对齐评估

2026年10月26日,arXiv发布论文arXiv:2610.31838v1,提出Sense-Aligned Grounding Evaluation(SAGE)——一个统一的10候选图像选择基准,并配套训练无关的Gloss-Augmented Reasoning(GAR)框架,用于跨名词、动词和实体中心的多模态接地评估。

新闻源配图 · arXiv cs.CL

推荐理由:该研究首次将VWSD、VerSe和WikiDiverse三类任务统一为术语中心的接地评测协议,引入混淆难负样本与上下文交换诊断机制,并通过实证表明定义增强与约束引导推理的协同可显著提升Hits@1指标(65.90→71.22),为多模态语义对齐提供了更细粒度、可解释的评估新范式。

事件进展与其他报道

超越策略内与策略外:LLM智能体蒸馏应在何种层次上遵循学生模型?

arXiv:2610.31918v1 发布类型:新 摘要:对交互式大型语言模型代理进行蒸馏时,需要在教师生成的示范与学生生成的经验之间做出选择,这大致对应于离策略蒸馏与在策略蒸馏。尽管两者都被证明是有效的,但我们认为这种区分本质上具有层次性:引发交互历史的策略未必与生成当前动作的标记前缀的策略相同。我们提出了一种分层代理蒸馏框架,将这两种层次的在策略性加以形式化,并允许对其配对方式、混合比例以及训练计划进行显式控制。我们通过自蒸馏来研究这一问题,在自蒸馏中,冻结的教师能够获得学生无法获取的任务指导,而

Beyond On-Policy vs. Off-Policy: At What Level Should LLM Agent Distillation Follow the Student?
事件进展与其他报道

缪子预条件何时以及如何生效?结构化梯度噪声的作用

arXiv:2610.31728v1 发布类型:新 摘要:Muon 已成为大型语言模型训练中广受欢迎的优化器,但其理论基础仍缺乏深入理解。在本研究中,我们探讨了梯度噪声的几何结构如何影响 Muon 的预条件化优势。我们首先从理论与实验两方面证明,在经典的各向同性噪声假设下,Muon 仅能通过重新缩放学习率而带来加速效果,无法进一步提升性能。这一发现促使我们进一步考察由异构任务频率下的关联记忆中的小批量采样所引起的结构化噪声。我们为两类任务确定了一个精确的平衡阈值,并将分析扩展至多任务场景,揭示了任务覆盖率与梯度可靠性如何共同塑造学习过程。我们的分析表明,Muon 能够缓解……

When and How Does Muon Precondition? The Role of Structured Gradient Noise
事件进展与其他报道

测试时记忆进化能否在科学发现中超越测试时训练?

arXiv:2610.32046v1 发布类型:新 摘要:近期的“测试时训练”(TTT)框架使开放权重的大规模语言模型(LLMs)在科学发现任务上超越了由前沿模型驱动的仅推理框架。然而,TTT 在发现过程中引入了额外的在线权重更新计算开销,这使得在扩展至更大规模模型时,计算效率成为一项重要考量。因此,我们致力于探索一种用于科学发现的高效“测试时适应”方法。我们提出了一种即插即用的测试时适应方法——“测试时记忆演化”(TTME),作为 TTT 的替代方案。TTME 通过提炼经验不断更新外部记忆,从而指导后续的发现过程,而无需进行权重更新。

Can Test-Time Memory Evolution Outperform Test-Time Training for Scientific Discovery?
事件进展与其他报道

通过边缘端实现大语言模型训练的民主化:挑战、系统与未来之路

arXiv:2610.32215v1 发布类型:新 摘要:现代GPU数据中心日益强大的算力,使少数几家行业巨头得以在海量数据上训练并部署大型语言模型(LLMs)。然而,这些模型及其训练数据的庞大规模,使得集中式开发越来越难以为继,同时也将那些拥有相关私有数据但缺乏同等基础设施的小型机构拒之门外。本文围绕预训练与微调两大范式,梳理了我们在分布式LLM训练方面的立场,涵盖联邦学习、分割学习以及去中心化方法,并评估了它们在异构硬件与连接不稳定等地理分布式环境中的适用性。随后,我们提出了一种{\em 统一}的系统

Democratizing LLM Training with the Edge: Challenges, Systems, and the Road Ahead
事件进展与其他报道

CiteAnchor:面向幻觉引用检测与解析的源信息感知对齐方法

arXiv:2610.30355v1 发布类型:新 基本摘要:幻觉引用使得追踪来源并验证科学论断背后的证据变得更加困难。由于书目记录可能不完整,且在不同来源类型和出版版本之间存在差异,因此对其进行检测十分棘手。仅凭一个看似合理的匹配既无法确认该引用的有效性,也无法确定其背后的真实来源。我们提出了 CiteResolve,这是一个包含423条真实世界中幻觉引用的基准数据集,并已标注了其来源可恢复性。此外,我们还提出了一种名为 CiteAnchor 的源信息感知对齐框架,该框架能够针对每种来源类型调整检索策略与字段级验证方法,并分别判断引用的有效性以及是否能恢复出唯一的原始来源。在现有的一项检测基准上,CiteAnchor 使用 GPT-5.6 时达到了 0.841 的 F1 分数。

CiteAnchor: Source-Aware Grounding for Hallucinated Citation Detection and Resolution
事件进展与其他报道