检索标题、摘要与正文，把分散的信息连起来。
在算力对等的前提下，单纯堆叠算力无法保证模型在自我提升过程中的胜率；模型针对「受欢迎程度」开展优化时，容易出现迎合人类的倾向，进而造成安全指标下滑；相关研究首次提出 RSIHF 框架，证实在 AI 自动训练 AI 的过程中，模型的「受欢迎程度」与「安全性」不能画等号，必须分开评估。如果 AI 研究员把评测分数提高了，外界很难直接判断，相关操作到底是完成了模型本身的改进，还是找到了适配评测规则的捷径。目前部分已落地的自动化研究项目里，智能体只会围绕指定的 benchmark 或者固定评测流程做优化，这类流程得出的分数确实方便横向比较，却也可能催生针对评测的过拟合问题，甚至出现 reward ha...
arXiv:2611.14925v1 公告类型：新 发表摘要：使用工具的语言模型正越来越多地应用于对话场景，但大多数大规模工具使用基准测试都聚焦于孤立的请求。我们提出了 ToolTurns 基准，包含 2,620 个问题，涵盖 1,827 种工具和 11,004 个 API 端点，涉及 47 个类别。每个对话均从一个有意描述不充分的请求开始，并通过两个依赖上下文的后续请求延续，以测试澄清、工具使用以及对话上下文的保持能力。我们还引入了一个开源用户模拟器，该模拟器可通过对话揭示被隐藏的上下文并生成后续请求，并配备了一个检查—修正流水线来改进其对话轮次。在九个语言模型中，表现最佳的智能体能够解决 69.6% 的单个请求，但仅完成 39.8% 的完整对话。根据这一评估协议，所有受测模型在后续请求上的成功得分均低于初始请求，而对话质量评分与任务成功率对模型的排名可能大相径庭。成对的轮次级评估表明，检查—修正流程能减少检测到的对话缺陷，且盲测的人类评价更倾向于修订后的对话轮次。ToolTurns 为评估智能体能否在使用工具的多轮对话中持续达成任务目标提供了测试平台。
arXiv:2611.10044v1 公告类型：新 提要：当多个答案都能符合谜题时，精确匹配评分可能会惩罚有效的回应。CulturalCrosswords 测试了答案约束如何影响大型语言模型（LLM）解答文化类谜题，这类谜题的解答依赖于特定社群的知识。我们从42种语言的众包谜题中构建了53份填字游戏，并在每套线索的五个版本上评估了11种 LLM 配置：普通批次、带长度提示的批次、带长度和部分答案提示的批次，以及要求提供答案列表或完整网格的填字游戏。在包含备选答案的962条线索中，与参考答案的一致性在加入长度约束后提升了22.8个百分点，而仅接受备选答案并给予相应分数时仅提升8.4个百分点。因此，部分收益似乎源于对所需答案形式的选择。填字游戏输入使所有交叉处具有兼容答案的比例提高了9.7个百分点；要求填写完整网格则揭示了各模型之间的显著差异。该基准测试区分了与参考答案的一致性，与生成能够相互匹配并占据正确单元格的答案的能力。
arXiv:2610.37859v1 发布类型：新 摘要：语言模型驱动的智能体与以往的智能系统存在根本性差异，其能够在上下文中从自然语言中学习。这一能力使智能体能够根据反馈逐步优化自己的回答，而这正是现代智能体工作流中普遍采用的操作模式。然而，学术界目前主要依据Pass@1或Pass@K等指标对模型进行排名，这些指标无法反映模型如何利用先前尝试的反馈信息。我们提出了Seq@K，这是一种自然的评估方案，用于衡量模型在每次先前失败后获得反馈的情况下，是否能在K次连续尝试内解决问题。与那些考察长期规划的多轮智能体基准测试不同，Seq@K将重点聚焦并形式化了从……中进行迭代优化的核心能力。
对基准测试行业的某种回顾，以及其中的缺失之处。
IT之家 10 月 28 日消息，微软昨日（10 月 27 日）发布公告，宣布推出 MAI-Image-2.7-Preview 模型。微软人工智能首席执行官穆斯塔法 · 苏莱曼（Mustafa Suleyman）自豪地宣布：“MAI-Image 现在是全球排名第二的图像编辑模型！”苏莱曼在推文中写道，基于 Artificial Analysis 的图像编辑榜，微软的 MAI-Image 系列模型再...
Property Finder 发现，其视觉AI评估标签中有96.8%源自现有模型，这掩盖了该模型的真实准确率。了解他们如何构建无偏的真值数据、实施进化式提示优化，并在 Amazon Bedrock 上选择了一款更精准且更具成本效益的模型，从而在11项图像质量指标上将成本降低了86%。
旧榜跑分逼近满分，新榜实战却集体不及格。当大模型评测本身变成生意，企业选型正从看排名转向算成本账。
百度发布了 Unlimited OCR 2，这是一款采用 MIT 许可证的 3B 参数规模的 OCR 模型，能够在一次请求中解析百页文档。其 SR-SWA 注意力机制使每步解码开销几乎保持不变，在 MarathonDocBench 上取得了 77.1 的得分。该文章《百度开源 Unlimited OCR 2，用于百页文档解析》首发于 MarkTechPost。
arXiv：2610.33014v1 发布类型：新 提要：谈判助手无需准确预测对方的反应，也能达成一笔不错的交易。我们探讨的是，针对社会世界模型的评估是否直接检验了这种预测能力。我们对1999年至2026年间发表的113篇相关研究进行了梳理。其中9项主要评估测量的是，当系统或实验者选定某一行动后，真实个体对该行动的反应。仅有2项还把明确的反应预测与实际反应进行了对比。这些研究的预测模型所使用的信息仅限于行动被选定之时，而用于评估的反应数据在拟合过程中已被排除；且两项研究均对干预措施进行了随机化处理。此外，我们对25篇有关语言模型的研究进行了全文核查，未发现任何一项实验同时满足上述条件。其余评估则侧重于当前状态推断、任务成功率或预测准确性等指标。
arXiv：2610.35564v1 发布类型：新 摘要：无服务器计算平台必须在适应高度突发且不可预测的工作负载的同时，确保服务质量（QoS）。为应对工作负载的波动并满足QoS要求及服务等级协议（SLA），这些平台依赖于资源的自动扩展。商业化的函数即服务（FaaS）平台采用不同的自动伸缩策略，以动态调整活跃函数实例的数量和可用的处理能力。在本研究中，我们对三种具有代表性的自动伸缩策略进行了建模与比较：按请求伸缩（SPR）、并发级别伸缩（CLS）以及基于指标的伸缩（MBS）。为了实现独立于各厂商特定实现的系统化评估，我们……
Data Culture 构建了一个三步评估框架，使某项 AI 分析的部署准确率从 0% 提升至 94.7%。
arXiv：2610.32024v1 发布类型：新 摘要：用户向智能体发出的任务指令往往存在固有的表述不充分问题，尤其是在安全边界方面——这会带来行为风险。为研究此类风险，我们提出了 BARC-Bench 基准，它包含涵盖九种模拟工作空间环境的 110 项任务，在这些环境中，看似无害的请求可能会为不安全操作留下可乘之机。在该基准中，我们依据工作空间记录、隐含的环境背景以及未明示的社会规范所设定的安全边界，对智能体的行为进行评估。例如，当一个智能体被要求安排离职面谈时，必须在不通过共享日历邀请过早暴露员工辞职信息的前提下安排会议。通过对四种前沿模型配置在每项任务上进行五次尝试的评估发现，m
一篇于2026年10月24日发布在arXiv的论文指出，当前主流编码智能体基准（如SWE-Milestone）存在“规范-预言机差距”：任务自然语言描述未涵盖测试所需的关键实现细节（如常量名、模块路径、精确错误消息），导致评测实际衡量的是对上游代码的复现能力而非真正理解与推理能力。
推荐理由：该研究首次形式化定义该类偏差，构建覆盖五种语言的静态审计工具（精度89.2%，召回率92.9%），并在SWE-Milestone中实证发现25个里程碑任务含不可推断的隐式依赖，显著拉高失败率（80.6% vs 48.4%），揭示当前排行榜可能系统性偏爱‘抄名称’型智能体；成果已开源审计工具与修正资源，具方法论与实践双重价值。
OpenAI概述了共享全球AI标准的途径,要求协调评价,报告和治理,以改善安全.
