跳到正文
AI NEWS JOURNAL
AI, IN PERSPECTIVE

搜索 AI 资讯

检索标题、摘要与正文,把分散的信息连起来。

按发布时间排序

Seq@K:在序列反馈下的语言模型评估

arXiv:2610.37859v1 发布类型:新 摘要:语言模型驱动的智能体与以往的智能系统存在根本性差异,其能够在上下文中从自然语言中学习。这一能力使智能体能够根据反馈逐步优化自己的回答,而这正是现代智能体工作流中普遍采用的操作模式。然而,学术界目前主要依据Pass@1或Pass@K等指标对模型进行排名,这些指标无法反映模型如何利用先前尝试的反馈信息。我们提出了Seq@K,这是一种自然的评估方案,用于衡量模型在每次先前失败后获得反馈的情况下,是否能在K次连续尝试内解决问题。与那些考察长期规划的多轮智能体基准测试不同,Seq@K将重点聚焦并形式化了从……中进行迭代优化的核心能力。

事件进展与其他报道

面向历史文献转录的OCR系统实体感知评估

arXiv:2610.33004v1 发布类型:新 提要:光学字符识别(OCR)对于历史档案的数字化至关重要,然而诸如字符错误率(CER)等标准评估指标并不一定能反映诸如姓名、日期和标识符等重要信息是否得以保留。在本研究中,我们从实体层面分析OCR错误,以此作为评估历史文献中OCR质量的补充视角。我们使用了一个公开的基准数据集,包含来自Berrutti档案馆的175份文档,并辅以5,209个经人工标注的实体提及,这些标注将在论文被接受后公布;在此基础上,我们比较了序列识别型OCR系统、专为OCR设计的视觉—语言模型以及通用型视觉—语言模型。除了全局转录准确率之外

事件进展与其他报道

篡改的机器学习:评估大型语言模型对机器学习研究的判断

arXiv:2610.32114v1 发布类型:新 摘要:加速人工智能对齐研究进展的一种方法,是将对齐研究的部分环节实现自动化。这需要能够可靠地完成难以监督的研究任务的系统,包括识别研究方案中的缺陷,以及评估某项实验设计是否支持其预期结论。为评估这一能力,我们提出了“Tampered ML”基准,包含1,858个项目对,每一对均由一篇已发表的机器学习论文重构而成的实验方案,以及一个经过轻微修改、引入特定方法学缺陷的反事实版本组成。模型需在两种呈现顺序下均能识别出方法上更为合理的方案。一项针对分层抽样的人工验证研究估计,其中86%的项…

事件进展与其他报道

面向开放ISA的超级计算:RISC-V、Arm与x86架构在HPC工作负载上的比较研究

arXiv:2610.32632v1 发布类型:新 摘要:RISC‑V 正在成为高性能计算(HPC)领域的候选架构,但其与成熟的 x86 和 Arm 处理器相比的竞争力仍难以评估,因为现有研究采用的平台、工作负载和方法各不相同,且很少考虑能效。我们的工作基于统一的软件栈和评估方法,对当前主流的 HPC RISC‑V、Arm 和 x86 处理器进行了全面评测。我们详细分析了 Sophgo SG2044,并将其与 NVIDIA Grace CPU 超级芯片以及 Intel Xeon Platinum 8480+ 在四项 HPC 基准测试(STREAM、HPL、HPL‑MxP 和 HPCG)以及四款典型应用(iPIC3D、PLUTO、OpenFOAM 和 llama.cpp)上进行了对比。用于本研究的 HPL‑MxP 版本链接至 OpenBLAS,并以此为基础进行构建和测试……

Toward Open ISA Supercomputing: A Comparative Study of RISC-V, Arm, and x86 Architectures on HPC Workloads
事件进展与其他报道

OpenHome:从感知到洞察——智能家居摄像头视频分析

arXiv:2610.31986v1 发布类型:新 提要:视觉语言模型(VLMs)正越来越多地被应用于消费级智能家居摄像头系统,用于解析录制的视频并提供洞察。然而,从智能家居摄像头捕获的视频片段与现有 VLM 基准测试中占主导地位的精选网络视频存在显著差异。智能家居视频片段通常不包含字幕或旁白,并且拍摄角度各异、光照条件多变、场景也十分多样。然而,在视觉信号稀疏且上下文有限的情况下,现有 VLM 基准测试尚未充分评估模型在这一领域的性能。为弥补这一不足,我们提出了 OpenHome,一个仅基于视觉、采用四选项选择题形式的基准测试,用于评估对智能家居视频的理解能力。I

事件进展与其他报道