跳到正文
AI NEWS JOURNAL
AI, IN PERSPECTIVE

搜索 AI 资讯

检索标题、摘要与正文,把分散的信息连起来。

按发布时间排序

评估与改进用于理解测序协议的 AI 智能体

arXiv:2610.37851v1 发布类型:新 摘要:现有的科学智能体基准测试很少评估智能体是否能够重建测序协议所指定的精确分子结构和生成流程,而这一能力对于分析定制化测序实验至关重要。我们提出了 LibStructBench,一个基于文档的基准测试,用于重建测序文库结构和分子工作流程。我们的实验表明,前沿的智能体通常能够生成大致正确的重建结果,但在精确重建方面仍不够可靠,尤其是在分子状态表示和工作流程连通性方面。更换底层语言模型所带来的平均性能差异,甚至大于更换智能体框架所产生的差异,且这种差异具有统计学上的显著性。

事件进展与其他报道

在不阅读解释的情况下进行评分:自动化可解释性评估中的结构化捷径

arXiv:2610.37676v1 公告类型:新摘要:自动化可解释性通过让模型逐个标记地预测特征在评估样本上的激活位置,或判断标记的标记是否与该特征相符,从而对稀疏自编码器(SAE)特征的解释进行评分。我们发现,评估数据的标准处理流程可以在不读取解释的情况下完成评分。在Neuronpedia存储的针对500个随机GPT-2小型特征的模糊测试运行中,91.3%的激活样本都以中心标记为峰值进行裁剪;而当中心标记被标记时判定为“是”的规则,其平衡准确率达到了0.979,相比之下,基于存储的LLM评分器(根据管道代码重新计算的逐项判决结果)的准确率为0.838;仅依据标记数量的规则则达到了0.969。T

事件进展与其他报道

Seq@K:在序列反馈下的语言模型评估

arXiv:2610.37859v1 发布类型:新 摘要:语言模型驱动的智能体与以往的智能系统存在根本性差异,其能够在上下文中从自然语言中学习。这一能力使智能体能够根据反馈逐步优化自己的回答,而这正是现代智能体工作流中普遍采用的操作模式。然而,学术界目前主要依据Pass@1或Pass@K等指标对模型进行排名,这些指标无法反映模型如何利用先前尝试的反馈信息。我们提出了Seq@K,这是一种自然的评估方案,用于衡量模型在每次先前失败后获得反馈的情况下,是否能在K次连续尝试内解决问题。与那些考察长期规划的多轮智能体基准测试不同,Seq@K将重点聚焦并形式化了从……中进行迭代优化的核心能力。

事件进展与其他报道

百度开源无限OCR 2,用于百页文档解析

百度发布了 Unlimited OCR 2,这是一款采用 MIT 许可证的 3B 参数规模的 OCR 模型,能够在一次请求中解析百页文档。其 SR-SWA 注意力机制使每步解码开销几乎保持不变,在 MarathonDocBench 上取得了 77.1 的得分。该文章《百度开源 Unlimited OCR 2,用于百页文档解析》首发于 MarkTechPost。

新闻源配图 · MarkTechPost
事件进展与其他报道

社会世界模型评估差距

arXiv:2610.33014v1 发布类型:新 提要:谈判助手无需准确预测对方的反应,也能达成一笔不错的交易。我们探讨的是,针对社会世界模型的评估是否直接检验了这种预测能力。我们对1999年至2026年间发表的113篇相关研究进行了梳理。其中9项主要评估测量的是,当系统或实验者选定某一行动后,真实个体对该行动的反应。仅有2项还把明确的反应预测与实际反应进行了对比。这些研究的预测模型所使用的信息仅限于行动被选定之时,而用于评估的反应数据在拟合过程中已被排除;且两项研究均对干预措施进行了随机化处理。此外,我们对25篇有关语言模型的研究进行了全文核查,未发现任何一项实验同时满足上述条件。其余评估则侧重于当前状态推断、任务成功率或预测准确性等指标。

事件进展与其他报道

音频-语言模型中可控说话风格字幕生成的基准

arXiv:2610.33036v1 发布类型:新 摘要:口语风格字幕(SSC)旨在生成自然语言描述,用于刻画语音的表达方式,捕捉诸如声音音色、韵律和表现力等副语言特征。许多下游应用,包括对话式 AI 智能体、可控语音生成以及大规模音频标注,都需要针对特定维度的风格字幕,以描述语音的特定方面(例如说话者特质、情感或表达风格),而非单一的无差别描述。然而,现有研究缺乏对可控口语风格字幕的统一建模方法。我们通过将 SSC 定义为一项遵循指令的音频-语言任务来弥补这一不足,在该任务中,明确的指令会指定口语风格的维

事件进展与其他报道

面向历史文献转录的OCR系统实体感知评估

arXiv:2610.33004v1 发布类型:新 提要:光学字符识别(OCR)对于历史档案的数字化至关重要,然而诸如字符错误率(CER)等标准评估指标并不一定能反映诸如姓名、日期和标识符等重要信息是否得以保留。在本研究中,我们从实体层面分析OCR错误,以此作为评估历史文献中OCR质量的补充视角。我们使用了一个公开的基准数据集,包含来自Berrutti档案馆的175份文档,并辅以5,209个经人工标注的实体提及,这些标注将在论文被接受后公布;在此基础上,我们比较了序列识别型OCR系统、专为OCR设计的视觉—语言模型以及通用型视觉—语言模型。除了全局转录准确率之外

事件进展与其他报道

DPO微调提升可持续金融术语定义生成质量,助力欧盟发展融资文件语义变迁审计

一项发表于2026年10月27日arXiv的研究(arXiv:2610.33357v1)提出,采用直接偏好优化(DPO)对词典式定义生成模型进行微调,可有效缓解其在词汇语义变化检测(LSCD)中产生的过度细分义项问题,从而更精准地支持对欧盟发展融资项目文档中可持续性术语的历时性变化审计。

推荐理由:该研究针对定义生成模型在语义变化分析中的实际缺陷(义项过碎),提出可复现、已开源的技术改进方案,并在学术基准与真实欧盟可持续金融披露文本上完成双重验证;发布时间早于当前日期(2026-10-28),属最新公开研究成果。

事件进展与其他报道

Nace AI 推出用于搜索 AI 智能体的 Drex:在 BrowseComp-Plus 上的准确率为 92.05%,并进行了 12.6 次搜索调用

Nace AI 发布了 Drex for Search,将其 Drex 决策模型应用于 AI 智能体的文档搜索。Nace 在 BrowseComp-Plus 上取得了 92.05% 的成绩,仅需 12.6 次搜索调用,并且在 OfficeQA Pro 上实现了更少的智能体交互次数。该文章“Nace AI 为 AI 智能体发布 Drex for Search:在 BrowseComp-Plus 上取得 92.05% 成绩,仅需 12.6 次搜索调用”首发于 MarkTechPost。

事件进展与其他报道

SAGE基准与GAR框架发布:推动多模态语义对齐评估

2026年10月26日,arXiv发布论文arXiv:2610.31838v1,提出Sense-Aligned Grounding Evaluation(SAGE)——一个统一的10候选图像选择基准,并配套训练无关的Gloss-Augmented Reasoning(GAR)框架,用于跨名词、动词和实体中心的多模态接地评估。

新闻源配图 · arXiv cs.CL

推荐理由:该研究首次将VWSD、VerSe和WikiDiverse三类任务统一为术语中心的接地评测协议,引入混淆难负样本与上下文交换诊断机制,并通过实证表明定义增强与约束引导推理的协同可显著提升Hits@1指标(65.90→71.22),为多模态语义对齐提供了更细粒度、可解释的评估新范式。

事件进展与其他报道

基于ISO 11783网络的机器可读操作手册,用于离线、多语言LLM辅助

arXiv:2610.31863v1 发布类型:新 摘要:若农业机械需支持智能化的离线辅助功能,则系统必须能够动态访问技术文档。本文分析了基于ISO 11783的CAN总线上操作手册的语义同步问题,将其定义为使拖拉机端助手的本地知识库与所连接农具的操作手册保持一致的过程。通过Markdown、JSON和XML对数据传输性能进行了基准测试,并在跨语言查询任务中评估了多种开源大型语言模型(LLMs)。答案的自动评估结果经由四位人工评分者验证。一份完整的手册在物理层面上的ISO 11783网络上完成传输,耗时31至89秒,具体取决于f

事件进展与其他报道

科利布里:帕累托前沿上的主权欧洲模型

arXiv:2610.31945v1 发布类型:新 摘要:本报告介绍了 Kolibri,一种英德混合的专家级 Transformer 模型,总参数量为 781 亿,每个 token 的活跃参数量为 34.6 亿,并以 Apache 2.0 许可证公开了模型权重。我们构建 Kolibri 的目标是实现主权化与专业化部署,尤其聚焦于德语以及公共管理、工业和航空航天等受监管领域。为支持这些应用场景,我们全程把控模型研发流程,涵盖数据、架构、训练基础设施、后训练阶段及评估环节。我们在预训练、中期训练和长上下文扩展三个阶段累计使用了 24T tokens 进行训练,其中德语数据在字节层面占比超过 20%。为达成这一比例,我们还对德语数据集进行了补充……

事件进展与其他报道