跳到正文
AI NEWS JOURNAL
AI, IN PERSPECTIVE

搜索 AI 资讯

检索标题、摘要与正文,把分散的信息连起来。

按发布时间排序

暴露并不等于承诺:针对使用工具的智能体的潜在监控器的双层评估

arXiv:2610.37679v1 发布类型:新 摘要:使用工具的语言模型容易受到间接提示注入的影响,而越来越多的研究试图通过探查模型内部来在不安全操作执行前将其捕获,但所得结果却存在严重分歧。我们认为,这种分歧很大程度上源于评估方法上的缺陷,并提出了一种双层评估协议:在评估与训练数据集中,将“提示注入”与“行为承诺”加以分离。在主要的Qwen AgentDojo基准测试集上,那些基于朴素的“不安全与其余”混合对比进行训练的监控器,大多仅学会识别“暴露”:它们会标记出所有被暴露的轨迹,无论智能体是否真正执行了相应操作,且几乎无法预测哪些情况最终会导致不安全行为。而当仅针对已暴露案例重新训练后,同一类探测器便能预测模型自身发出的不安全工具调用,时间延迟长达两秒。

事件进展与其他报道

在不阅读解释的情况下进行评分:自动化可解释性评估中的结构化捷径

arXiv:2610.37676v1 公告类型:新摘要:自动化可解释性通过让模型逐个标记地预测特征在评估样本上的激活位置,或判断标记的标记是否与该特征相符,从而对稀疏自编码器(SAE)特征的解释进行评分。我们发现,评估数据的标准处理流程可以在不读取解释的情况下完成评分。在Neuronpedia存储的针对500个随机GPT-2小型特征的模糊测试运行中,91.3%的激活样本都以中心标记为峰值进行裁剪;而当中心标记被标记时判定为“是”的规则,其平衡准确率达到了0.979,相比之下,基于存储的LLM评分器(根据管道代码重新计算的逐项判决结果)的准确率为0.838;仅依据标记数量的规则则达到了0.969。T

事件进展与其他报道

KORA:面向人工智能工作负载的确定性优先执行控制

arXiv:2610.35869v1 发布类型:新 摘要:人工智能应用通常会在决定是否需要进行推理之前先调用模型。这种默认行为对于模糊的生成任务很有用,但与那些结构化、确定性、受策略约束、以查找为主或可直接验证的工作并不匹配。KORA 提出了确定性优先执行控制:一种位于推理前的控制层,它将请求表示为任务路径,优先尝试确定性或结构化的执行路径,验证路径结果,记录遥测数据,并仅在确定性处理不足时才切换到模型候选路径。本文将 KORA 介绍为一种确定性优先的执行控制架构,并基于可复现的基准测试和验证工作负载提供了有限的实证证据。在一项重

事件进展与其他报道

百度开源无限OCR 2,用于百页文档解析

百度发布了 Unlimited OCR 2,这是一款采用 MIT 许可证的 3B 参数规模的 OCR 模型,能够在一次请求中解析百页文档。其 SR-SWA 注意力机制使每步解码开销几乎保持不变,在 MarathonDocBench 上取得了 77.1 的得分。该文章《百度开源 Unlimited OCR 2,用于百页文档解析》首发于 MarkTechPost。

新闻源配图 · MarkTechPost
事件进展与其他报道

AdaptTok-Indic:面向印度语言的脚本感知自适应分词

arXiv:2610.33017v1 发布类型:新 摘要:在以英语为主导的语料库上训练的多语言分词器往往会对印度语系语言进行过度切分,导致令牌序列更长,并加剧了不同书写系统之间的分词差异。我们提出了 AdaptTok-Indic,这是一种专为印度语系语言设计的自适应分词扩展方案,它将 Unicode 规范化的预处理与显式的印度语系连字处理、基于书写系统的路由策略,以及与小型 Transformer 语言模型联合训练的字节级边界预测相结合。在孟加拉语和印地语上进行评估,并额外针对古吉拉特语、泰米尔语和泰卢固语进行了测试,AdaptTok-Indic 在令牌生成密度方面优于面向印度语系的基准分词器 SentencePiece BPE,以及独立实现的 MAGNET 式基准。在五项已记录的…

事件进展与其他报道

社会世界模型评估差距

arXiv:2610.33014v1 发布类型:新 提要:谈判助手无需准确预测对方的反应,也能达成一笔不错的交易。我们探讨的是,针对社会世界模型的评估是否直接检验了这种预测能力。我们对1999年至2026年间发表的113篇相关研究进行了梳理。其中9项主要评估测量的是,当系统或实验者选定某一行动后,真实个体对该行动的反应。仅有2项还把明确的反应预测与实际反应进行了对比。这些研究的预测模型所使用的信息仅限于行动被选定之时,而用于评估的反应数据在拟合过程中已被排除;且两项研究均对干预措施进行了随机化处理。此外,我们对25篇有关语言模型的研究进行了全文核查,未发现任何一项实验同时满足上述条件。其余评估则侧重于当前状态推断、任务成功率或预测准确性等指标。

事件进展与其他报道

音频-语言模型中可控说话风格字幕生成的基准

arXiv:2610.33036v1 发布类型:新 摘要:口语风格字幕(SSC)旨在生成自然语言描述,用于刻画语音的表达方式,捕捉诸如声音音色、韵律和表现力等副语言特征。许多下游应用,包括对话式 AI 智能体、可控语音生成以及大规模音频标注,都需要针对特定维度的风格字幕,以描述语音的特定方面(例如说话者特质、情感或表达风格),而非单一的无差别描述。然而,现有研究缺乏对可控口语风格字幕的统一建模方法。我们通过将 SSC 定义为一项遵循指令的音频-语言任务来弥补这一不足,在该任务中,明确的指令会指定口语风格的维

事件进展与其他报道

一种基于统一排队模型的框架,用于在突发性工作负载下对无服务器自动伸缩策略进行比较评估

arXiv:2610.35564v1 发布类型:新 摘要:无服务器计算平台必须在适应高度突发且不可预测的工作负载的同时,确保服务质量(QoS)。为应对工作负载的波动并满足QoS要求及服务等级协议(SLA),这些平台依赖于资源的自动扩展。商业化的函数即服务(FaaS)平台采用不同的自动伸缩策略,以动态调整活跃函数实例的数量和可用的处理能力。在本研究中,我们对三种具有代表性的自动伸缩策略进行了建模与比较:按请求伸缩(SPR)、并发级别伸缩(CLS)以及基于指标的伸缩(MBS)。为了实现独立于各厂商特定实现的系统化评估,我们……

事件进展与其他报道

Nace AI 推出用于搜索 AI 智能体的 Drex:在 BrowseComp-Plus 上的准确率为 92.05%,并进行了 12.6 次搜索调用

Nace AI 发布了 Drex for Search,将其 Drex 决策模型应用于 AI 智能体的文档搜索。Nace 在 BrowseComp-Plus 上取得了 92.05% 的成绩,仅需 12.6 次搜索调用,并且在 OfficeQA Pro 上实现了更少的智能体交互次数。该文章“Nace AI 为 AI 智能体发布 Drex for Search:在 BrowseComp-Plus 上取得 92.05% 成绩,仅需 12.6 次搜索调用”首发于 MarkTechPost。

事件进展与其他报道

篡改的机器学习:评估大型语言模型对机器学习研究的判断

arXiv:2610.32114v1 发布类型:新 摘要:加速人工智能对齐研究进展的一种方法,是将对齐研究的部分环节实现自动化。这需要能够可靠地完成难以监督的研究任务的系统,包括识别研究方案中的缺陷,以及评估某项实验设计是否支持其预期结论。为评估这一能力,我们提出了“Tampered ML”基准,包含1,858个项目对,每一对均由一篇已发表的机器学习论文重构而成的实验方案,以及一个经过轻微修改、引入特定方法学缺陷的反事实版本组成。模型需在两种呈现顺序下均能识别出方法上更为合理的方案。一项针对分层抽样的人工验证研究估计,其中86%的项…

事件进展与其他报道

BARC基准测试:良性请求,风险后果

arXiv:2610.32024v1 发布类型:新 摘要:用户向智能体发出的任务指令往往存在固有的表述不充分问题,尤其是在安全边界方面——这会带来行为风险。为研究此类风险,我们提出了 BARC-Bench 基准,它包含涵盖九种模拟工作空间环境的 110 项任务,在这些环境中,看似无害的请求可能会为不安全操作留下可乘之机。在该基准中,我们依据工作空间记录、隐含的环境背景以及未明示的社会规范所设定的安全边界,对智能体的行为进行评估。例如,当一个智能体被要求安排离职面谈时,必须在不通过共享日历邀请过早暴露员工辞职信息的前提下安排会议。通过对四种前沿模型配置在每项任务上进行五次尝试的评估发现,m

BARC-Bench: Benign Asks, Risky Consequences
事件进展与其他报道

基于ISO 11783网络的机器可读操作手册,用于离线、多语言LLM辅助

arXiv:2610.31863v1 发布类型:新 摘要:若农业机械需支持智能化的离线辅助功能,则系统必须能够动态访问技术文档。本文分析了基于ISO 11783的CAN总线上操作手册的语义同步问题,将其定义为使拖拉机端助手的本地知识库与所连接农具的操作手册保持一致的过程。通过Markdown、JSON和XML对数据传输性能进行了基准测试,并在跨语言查询任务中评估了多种开源大型语言模型(LLMs)。答案的自动评估结果经由四位人工评分者验证。一份完整的手册在物理层面上的ISO 11783网络上完成传输,耗时31至89秒,具体取决于f

事件进展与其他报道

OpenHome:从感知到洞察——智能家居摄像头视频分析

arXiv:2610.31986v1 发布类型:新 提要:视觉语言模型(VLMs)正越来越多地被应用于消费级智能家居摄像头系统,用于解析录制的视频并提供洞察。然而,从智能家居摄像头捕获的视频片段与现有 VLM 基准测试中占主导地位的精选网络视频存在显著差异。智能家居视频片段通常不包含字幕或旁白,并且拍摄角度各异、光照条件多变、场景也十分多样。然而,在视觉信号稀疏且上下文有限的情况下,现有 VLM 基准测试尚未充分评估模型在这一领域的性能。为弥补这一不足,我们提出了 OpenHome,一个仅基于视觉、采用四选项选择题形式的基准测试,用于评估对智能家居视频的理解能力。I

事件进展与其他报道

在 MXFP4 上训练 MoE 大型语言模型:我们如何缩小与 BF16 的差距

arXiv:2610.32229v1 发布类型:新 摘要:在低于8位的算术运算下训练大型语言模型(LLMs)有望显著提升内存带宽和计算吞吐量,然而FP4格式引入的量化误差若不加以处理,将严重扰乱优化过程。我们提出ALTO,这是一种开源的训练方案,用于在MLPerf小型MoE训练基准测试中,以MXFP4微缩尺度格式训练GPT-OSS-20B——一款拥有200亿参数的专家混合模型(MoE)。该方案融合了Abecassis、Felix等人[arXiv:2509.25149]提出的成熟技术(混合1D/2D块量化、随机化哈达玛变换以及随机舍入),并结合了一种基于TetraJet-v2[arXiv:2510.27527]改进的简化权重去振荡机制。在C4验证集上,采用全局批量大小

事件进展与其他报道

EDWARD-NMT:用于神经机器翻译的自适应路由与双重一致性弹性维度

arXiv:2610.32115v1 发布类型:新 摘要:稀疏混合专家(MoE)是一种强大的范式,可用于扩展神经机器翻译(NMT)并应对语言异构性。然而,实际限制阻碍了其在资源受限设备上的部署:整个专家池必须常驻内存,且每个标记的计算预算在训练期间由严格的 top-k 路由机制静态固定。我们提出了 EDWARD-NMT(用于 NMT 的弹性维度与自适应路由及双重一致性),这是一种新颖的 MoE 编码器—解码器架构,旨在实现“一次训练、随处部署”的范式,并在推理时提供一系列可部署的子网络。EDWARD-NMT 集成了三项关键创新:(i) 采用套娃式弹性维度,以灵活降低内存占用;(ii) 一个

事件进展与其他报道

新研究揭示LLM数学辅导评估存在严重测量偏差:精确匹配评分低估成效近40个百分点

arXiv于2026年10月26日发布的论文《MisconceptDialogue: Evaluation Criteria Shape Measured Success in LLM Math Tutoring》提出MISCONCEPTDIALOGUE自动化评估框架,基于5000+轮对话测试5种开源小参数LLM(7B–14B)作为数学辅导模型的表现。研究发现,主流的精确匹配(exact-match)评分方式仅得42.1%补救成功率,而经人工校准的LLM裁判评估同一对话达81.3%,差距达39.2个百分点;且该偏差非偶然——四类LLM裁判与200条人工标注结果高度一致(kappa最高0.91)。此外,模型对诊断信息(正确/错误概念)响应几乎无差异,表明其难以有效利用诊断输入。

MisconceptDialogue: Evaluation Criteria Shape Measured Success in LLM Math Tutoring

推荐理由:该研究直指当前LLM教育应用评估方法论的核心缺陷:依赖单一、僵化的自动评分可能严重扭曲真实能力判断;其大规模模拟实验设计、多裁判收敛验证及对诊断-教学耦合失效的实证,为AI教育评估标准化提供了关键警示和可复现的方法论基准。

事件进展与其他报道

CiteAnchor:面向幻觉引用检测与解析的源信息感知对齐方法

arXiv:2610.30355v1 发布类型:新 基本摘要:幻觉引用使得追踪来源并验证科学论断背后的证据变得更加困难。由于书目记录可能不完整,且在不同来源类型和出版版本之间存在差异,因此对其进行检测十分棘手。仅凭一个看似合理的匹配既无法确认该引用的有效性,也无法确定其背后的真实来源。我们提出了 CiteResolve,这是一个包含423条真实世界中幻觉引用的基准数据集,并已标注了其来源可恢复性。此外,我们还提出了一种名为 CiteAnchor 的源信息感知对齐框架,该框架能够针对每种来源类型调整检索策略与字段级验证方法,并分别判断引用的有效性以及是否能恢复出唯一的原始来源。在现有的一项检测基准上,CiteAnchor 使用 GPT-5.6 时达到了 0.841 的 F1 分数。

CiteAnchor: Source-Aware Grounding for Hallucinated Citation Detection and Resolution
事件进展与其他报道