跳到正文
AI NEWS JOURNAL
AI, IN PERSPECTIVE

搜索 AI 资讯

检索标题、摘要与正文,把分散的信息连起来。

按发布时间排序

暴露并不等于承诺:针对使用工具的智能体的潜在监控器的双层评估

arXiv:2610.37679v1 发布类型:新 摘要:使用工具的语言模型容易受到间接提示注入的影响,而越来越多的研究试图通过探查模型内部来在不安全操作执行前将其捕获,但所得结果却存在严重分歧。我们认为,这种分歧很大程度上源于评估方法上的缺陷,并提出了一种双层评估协议:在评估与训练数据集中,将“提示注入”与“行为承诺”加以分离。在主要的Qwen AgentDojo基准测试集上,那些基于朴素的“不安全与其余”混合对比进行训练的监控器,大多仅学会识别“暴露”:它们会标记出所有被暴露的轨迹,无论智能体是否真正执行了相应操作,且几乎无法预测哪些情况最终会导致不安全行为。而当仅针对已暴露案例重新训练后,同一类探测器便能预测模型自身发出的不安全工具调用,时间延迟长达两秒。

事件进展与其他报道

评估与改进用于理解测序协议的 AI 智能体

arXiv:2610.37851v1 发布类型:新 摘要:现有的科学智能体基准测试很少评估智能体是否能够重建测序协议所指定的精确分子结构和生成流程,而这一能力对于分析定制化测序实验至关重要。我们提出了 LibStructBench,一个基于文档的基准测试,用于重建测序文库结构和分子工作流程。我们的实验表明,前沿的智能体通常能够生成大致正确的重建结果,但在精确重建方面仍不够可靠,尤其是在分子状态表示和工作流程连通性方面。更换底层语言模型所带来的平均性能差异,甚至大于更换智能体框架所产生的差异,且这种差异具有统计学上的显著性。

事件进展与其他报道

在不阅读解释的情况下进行评分:自动化可解释性评估中的结构化捷径

arXiv:2610.37676v1 公告类型:新摘要:自动化可解释性通过让模型逐个标记地预测特征在评估样本上的激活位置,或判断标记的标记是否与该特征相符,从而对稀疏自编码器(SAE)特征的解释进行评分。我们发现,评估数据的标准处理流程可以在不读取解释的情况下完成评分。在Neuronpedia存储的针对500个随机GPT-2小型特征的模糊测试运行中,91.3%的激活样本都以中心标记为峰值进行裁剪;而当中心标记被标记时判定为“是”的规则,其平衡准确率达到了0.979,相比之下,基于存储的LLM评分器(根据管道代码重新计算的逐项判决结果)的准确率为0.838;仅依据标记数量的规则则达到了0.969。T

事件进展与其他报道

Seq@K:在序列反馈下的语言模型评估

arXiv:2610.37859v1 发布类型:新 摘要:语言模型驱动的智能体与以往的智能系统存在根本性差异,其能够在上下文中从自然语言中学习。这一能力使智能体能够根据反馈逐步优化自己的回答,而这正是现代智能体工作流中普遍采用的操作模式。然而,学术界目前主要依据Pass@1或Pass@K等指标对模型进行排名,这些指标无法反映模型如何利用先前尝试的反馈信息。我们提出了Seq@K,这是一种自然的评估方案,用于衡量模型在每次先前失败后获得反馈的情况下,是否能在K次连续尝试内解决问题。与那些考察长期规划的多轮智能体基准测试不同,Seq@K将重点聚焦并形式化了从……中进行迭代优化的核心能力。

事件进展与其他报道

KORA:面向人工智能工作负载的确定性优先执行控制

arXiv:2610.35869v1 发布类型:新 摘要:人工智能应用通常会在决定是否需要进行推理之前先调用模型。这种默认行为对于模糊的生成任务很有用,但与那些结构化、确定性、受策略约束、以查找为主或可直接验证的工作并不匹配。KORA 提出了确定性优先执行控制:一种位于推理前的控制层,它将请求表示为任务路径,优先尝试确定性或结构化的执行路径,验证路径结果,记录遥测数据,并仅在确定性处理不足时才切换到模型候选路径。本文将 KORA 介绍为一种确定性优先的执行控制架构,并基于可复现的基准测试和验证工作负载提供了有限的实证证据。在一项重

事件进展与其他报道

AdaptTok-Indic:面向印度语言的脚本感知自适应分词

arXiv:2610.33017v1 发布类型:新 摘要:在以英语为主导的语料库上训练的多语言分词器往往会对印度语系语言进行过度切分,导致令牌序列更长,并加剧了不同书写系统之间的分词差异。我们提出了 AdaptTok-Indic,这是一种专为印度语系语言设计的自适应分词扩展方案,它将 Unicode 规范化的预处理与显式的印度语系连字处理、基于书写系统的路由策略,以及与小型 Transformer 语言模型联合训练的字节级边界预测相结合。在孟加拉语和印地语上进行评估,并额外针对古吉拉特语、泰米尔语和泰卢固语进行了测试,AdaptTok-Indic 在令牌生成密度方面优于面向印度语系的基准分词器 SentencePiece BPE,以及独立实现的 MAGNET 式基准。在五项已记录的…

事件进展与其他报道

社会世界模型评估差距

arXiv:2610.33014v1 发布类型:新 提要:谈判助手无需准确预测对方的反应,也能达成一笔不错的交易。我们探讨的是,针对社会世界模型的评估是否直接检验了这种预测能力。我们对1999年至2026年间发表的113篇相关研究进行了梳理。其中9项主要评估测量的是,当系统或实验者选定某一行动后,真实个体对该行动的反应。仅有2项还把明确的反应预测与实际反应进行了对比。这些研究的预测模型所使用的信息仅限于行动被选定之时,而用于评估的反应数据在拟合过程中已被排除;且两项研究均对干预措施进行了随机化处理。此外,我们对25篇有关语言模型的研究进行了全文核查,未发现任何一项实验同时满足上述条件。其余评估则侧重于当前状态推断、任务成功率或预测准确性等指标。

事件进展与其他报道

音频-语言模型中可控说话风格字幕生成的基准

arXiv:2610.33036v1 发布类型:新 摘要:口语风格字幕(SSC)旨在生成自然语言描述,用于刻画语音的表达方式,捕捉诸如声音音色、韵律和表现力等副语言特征。许多下游应用,包括对话式 AI 智能体、可控语音生成以及大规模音频标注,都需要针对特定维度的风格字幕,以描述语音的特定方面(例如说话者特质、情感或表达风格),而非单一的无差别描述。然而,现有研究缺乏对可控口语风格字幕的统一建模方法。我们通过将 SSC 定义为一项遵循指令的音频-语言任务来弥补这一不足,在该任务中,明确的指令会指定口语风格的维

事件进展与其他报道

面向历史文献转录的OCR系统实体感知评估

arXiv:2610.33004v1 发布类型:新 提要:光学字符识别(OCR)对于历史档案的数字化至关重要,然而诸如字符错误率(CER)等标准评估指标并不一定能反映诸如姓名、日期和标识符等重要信息是否得以保留。在本研究中,我们从实体层面分析OCR错误,以此作为评估历史文献中OCR质量的补充视角。我们使用了一个公开的基准数据集,包含来自Berrutti档案馆的175份文档,并辅以5,209个经人工标注的实体提及,这些标注将在论文被接受后公布;在此基础上,我们比较了序列识别型OCR系统、专为OCR设计的视觉—语言模型以及通用型视觉—语言模型。除了全局转录准确率之外

事件进展与其他报道

一种基于统一排队模型的框架,用于在突发性工作负载下对无服务器自动伸缩策略进行比较评估

arXiv:2610.35564v1 发布类型:新 摘要:无服务器计算平台必须在适应高度突发且不可预测的工作负载的同时,确保服务质量(QoS)。为应对工作负载的波动并满足QoS要求及服务等级协议(SLA),这些平台依赖于资源的自动扩展。商业化的函数即服务(FaaS)平台采用不同的自动伸缩策略,以动态调整活跃函数实例的数量和可用的处理能力。在本研究中,我们对三种具有代表性的自动伸缩策略进行了建模与比较:按请求伸缩(SPR)、并发级别伸缩(CLS)以及基于指标的伸缩(MBS)。为了实现独立于各厂商特定实现的系统化评估,我们……

事件进展与其他报道

篡改的机器学习:评估大型语言模型对机器学习研究的判断

arXiv:2610.32114v1 发布类型:新 摘要:加速人工智能对齐研究进展的一种方法,是将对齐研究的部分环节实现自动化。这需要能够可靠地完成难以监督的研究任务的系统,包括识别研究方案中的缺陷,以及评估某项实验设计是否支持其预期结论。为评估这一能力,我们提出了“Tampered ML”基准,包含1,858个项目对,每一对均由一篇已发表的机器学习论文重构而成的实验方案,以及一个经过轻微修改、引入特定方法学缺陷的反事实版本组成。模型需在两种呈现顺序下均能识别出方法上更为合理的方案。一项针对分层抽样的人工验证研究估计,其中86%的项…

事件进展与其他报道

面向开放ISA的超级计算:RISC-V、Arm与x86架构在HPC工作负载上的比较研究

arXiv:2610.32632v1 发布类型:新 摘要:RISC‑V 正在成为高性能计算(HPC)领域的候选架构,但其与成熟的 x86 和 Arm 处理器相比的竞争力仍难以评估,因为现有研究采用的平台、工作负载和方法各不相同,且很少考虑能效。我们的工作基于统一的软件栈和评估方法,对当前主流的 HPC RISC‑V、Arm 和 x86 处理器进行了全面评测。我们详细分析了 Sophgo SG2044,并将其与 NVIDIA Grace CPU 超级芯片以及 Intel Xeon Platinum 8480+ 在四项 HPC 基准测试(STREAM、HPL、HPL‑MxP 和 HPCG)以及四款典型应用(iPIC3D、PLUTO、OpenFOAM 和 llama.cpp)上进行了对比。用于本研究的 HPL‑MxP 版本链接至 OpenBLAS,并以此为基础进行构建和测试……

Toward Open ISA Supercomputing: A Comparative Study of RISC-V, Arm, and x86 Architectures on HPC Workloads
事件进展与其他报道

BARC基准测试:良性请求,风险后果

arXiv:2610.32024v1 发布类型:新 摘要:用户向智能体发出的任务指令往往存在固有的表述不充分问题,尤其是在安全边界方面——这会带来行为风险。为研究此类风险,我们提出了 BARC-Bench 基准,它包含涵盖九种模拟工作空间环境的 110 项任务,在这些环境中,看似无害的请求可能会为不安全操作留下可乘之机。在该基准中,我们依据工作空间记录、隐含的环境背景以及未明示的社会规范所设定的安全边界,对智能体的行为进行评估。例如,当一个智能体被要求安排离职面谈时,必须在不通过共享日历邀请过早暴露员工辞职信息的前提下安排会议。通过对四种前沿模型配置在每项任务上进行五次尝试的评估发现,m

BARC-Bench: Benign Asks, Risky Consequences
事件进展与其他报道

基于ISO 11783网络的机器可读操作手册,用于离线、多语言LLM辅助

arXiv:2610.31863v1 发布类型:新 摘要:若农业机械需支持智能化的离线辅助功能,则系统必须能够动态访问技术文档。本文分析了基于ISO 11783的CAN总线上操作手册的语义同步问题,将其定义为使拖拉机端助手的本地知识库与所连接农具的操作手册保持一致的过程。通过Markdown、JSON和XML对数据传输性能进行了基准测试,并在跨语言查询任务中评估了多种开源大型语言模型(LLMs)。答案的自动评估结果经由四位人工评分者验证。一份完整的手册在物理层面上的ISO 11783网络上完成传输,耗时31至89秒,具体取决于f

事件进展与其他报道

可复现的评估作为生产型智能体中安全提示压缩的基石

arXiv:2610.31972v1 发布类型:新 摘要:评估那些基于实时、动态变化的企业数据运行的对话代理十分困难:由于后端状态不断更新,重放的会话会逐渐偏离真实情况;而今天构建的基准测试,随着其所描述的数据不断演进,也可能在不知不觉中变得过时。我们提出了一种针对生产级对话代理的离线评估框架,该框架能够在所操作的实时数据发生变化的情况下保持可复现性,并且在基准过时时能够按需重新生成。随后,我们将这一框架用作基于GEPA的提示优化的适应度函数,并通过一个正确性约束机制来防范奖励欺骗。将其应用于一款面向商家的生产级代理后,经过正确性约束的压缩处理,可在不降低保留任务正确率的前提下,将代理的完整提示空间缩小3.5%至7.6%。

Reproducible Evaluation as the Substrate for Safe Prompt Compression in Production Agents
事件进展与其他报道

OpenHome:从感知到洞察——智能家居摄像头视频分析

arXiv:2610.31986v1 发布类型:新 提要:视觉语言模型(VLMs)正越来越多地被应用于消费级智能家居摄像头系统,用于解析录制的视频并提供洞察。然而,从智能家居摄像头捕获的视频片段与现有 VLM 基准测试中占主导地位的精选网络视频存在显著差异。智能家居视频片段通常不包含字幕或旁白,并且拍摄角度各异、光照条件多变、场景也十分多样。然而,在视觉信号稀疏且上下文有限的情况下,现有 VLM 基准测试尚未充分评估模型在这一领域的性能。为弥补这一不足,我们提出了 OpenHome,一个仅基于视觉、采用四选项选择题形式的基准测试,用于评估对智能家居视频的理解能力。I

事件进展与其他报道

在 MXFP4 上训练 MoE 大型语言模型:我们如何缩小与 BF16 的差距

arXiv:2610.32229v1 发布类型:新 摘要:在低于8位的算术运算下训练大型语言模型(LLMs)有望显著提升内存带宽和计算吞吐量,然而FP4格式引入的量化误差若不加以处理,将严重扰乱优化过程。我们提出ALTO,这是一种开源的训练方案,用于在MLPerf小型MoE训练基准测试中,以MXFP4微缩尺度格式训练GPT-OSS-20B——一款拥有200亿参数的专家混合模型(MoE)。该方案融合了Abecassis、Felix等人[arXiv:2509.25149]提出的成熟技术(混合1D/2D块量化、随机化哈达玛变换以及随机舍入),并结合了一种基于TetraJet-v2[arXiv:2510.27527]改进的简化权重去振荡机制。在C4验证集上,采用全局批量大小

事件进展与其他报道

EDWARD-NMT:用于神经机器翻译的自适应路由与双重一致性弹性维度

arXiv:2610.32115v1 发布类型:新 摘要:稀疏混合专家(MoE)是一种强大的范式,可用于扩展神经机器翻译(NMT)并应对语言异构性。然而,实际限制阻碍了其在资源受限设备上的部署:整个专家池必须常驻内存,且每个标记的计算预算在训练期间由严格的 top-k 路由机制静态固定。我们提出了 EDWARD-NMT(用于 NMT 的弹性维度与自适应路由及双重一致性),这是一种新颖的 MoE 编码器—解码器架构,旨在实现“一次训练、随处部署”的范式,并在推理时提供一系列可部署的子网络。EDWARD-NMT 集成了三项关键创新:(i) 采用套娃式弹性维度,以灵活降低内存占用;(ii) 一个

事件进展与其他报道

查询记忆程度决定古典阿拉伯诗歌检索效果:BM25与稠密编码器表现随查询抽象度显著分化

一项发表于2026年10月26日arXiv的最新研究(arXiv:2610.31821v1)表明,在古典阿拉伯诗歌检索任务中,用户对诗句的记忆残留程度(如是否记得半行诗)比模型能力更关键地决定了检索性能;BM25在“舌尖效应”类查询中优于所有稠密编码器(含8B参数SOTA模型),但在抽象查询中大幅落后。

新闻源配图 · arXiv cs.CL

推荐理由:该研究通过双语料库、三索引模式与双评估协议的系统性基准测试,首次量化揭示了查询抽象度对不同检索范式(词法vs.稠密)的支配性影响,并经人类标注员与开源权重模型双重验证,结论具有方法论普适性与实证稳健性。

事件进展与其他报道

科利布里:帕累托前沿上的主权欧洲模型

arXiv:2610.31945v1 发布类型:新 摘要:本报告介绍了 Kolibri,一种英德混合的专家级 Transformer 模型,总参数量为 781 亿,每个 token 的活跃参数量为 34.6 亿,并以 Apache 2.0 许可证公开了模型权重。我们构建 Kolibri 的目标是实现主权化与专业化部署,尤其聚焦于德语以及公共管理、工业和航空航天等受监管领域。为支持这些应用场景,我们全程把控模型研发流程,涵盖数据、架构、训练基础设施、后训练阶段及评估环节。我们在预训练、中期训练和长上下文扩展三个阶段累计使用了 24T tokens 进行训练,其中德语数据在字节层面占比超过 20%。为达成这一比例,我们还对德语数据集进行了补充……

事件进展与其他报道