Qwen4-Max Preview实测:4800万条数据26分钟跑完,强!
Qwen 系列模型在开源社区一直有很好的口碑,最近阿里发布了Qwen4-Max 预览版。 但最近忙深圳 GEO 大会,直到今天才有空测试。 跑了几个实际项目,感觉是国产第一梯队。....
检索标题、摘要与正文,把分散的信息连起来。
Qwen 系列模型在开源社区一直有很好的口碑,最近阿里发布了Qwen4-Max 预览版。 但最近忙深圳 GEO 大会,直到今天才有空测试。 跑了几个实际项目,感觉是国产第一梯队。....
arXiv:2611.14925v1 公告类型:新 发表摘要:使用工具的语言模型正越来越多地应用于对话场景,但大多数大规模工具使用基准测试都聚焦于孤立的请求。我们提出了 ToolTurns 基准,包含 2,620 个问题,涵盖 1,827 种工具和 11,004 个 API 端点,涉及 47 个类别。每个对话均从一个有意描述不充分的请求开始,并通过两个依赖上下文的后续请求延续,以测试澄清、工具使用以及对话上下文的保持能力。我们还引入了一个开源用户模拟器,该模拟器可通过对话揭示被隐藏的上下文并生成后续请求,并配备了一个检查—修正流水线来改进其对话轮次。在九个语言模型中,表现最佳的智能体能够解决 69.6% 的单个请求,但仅完成 39.8% 的完整对话。根据这一评估协议,所有受测模型在后续请求上的成功得分均低于初始请求,而对话质量评分与任务成功率对模型的排名可能大相径庭。成对的轮次级评估表明,检查—修正流程能减少检测到的对话缺陷,且盲测的人类评价更倾向于修订后的对话轮次。ToolTurns 为评估智能体能否在使用工具的多轮对话中持续达成任务目标提供了测试平台。
1.豆包工作接入Kimi、GLM等多款模型,推出限时优惠 今日,豆包工作接入了Kimi 3.1 Pro、GLM 5.3、DeepSeek V4.1 Flash等多款模型,用户可以根据不同工....
新智元报道 等了半天,Gemini 4 Hydrogen没来。昨晚谷歌端上来的,是多模态决策模型Gemini Decision 1。劈柴宣布:今天,谷歌正式上线Gemini Decisions API,由Gemini Decision 1 模型提供支持。Stitch Rapid 使用 Decisions API 在几秒钟内设计整个产品流程「Jev」的风,终于还是吹到了谷歌这边。它专为「封闭式选择题」而...
最近,硅谷创投圈发了一份蛮有意思的榜单:让一些已经做出成功公司的 AI 创始人,推荐他们看好的下一批创业者。 像 Fireworks、Vercel 以及 Mercor 这些明星公司的 CE....
GPT-6.2 Astra 要来了,厉娜。据 The Information 今天凌晨放出的风声,最快当地时间本周五,OpenAI 的下一代模型家族就要组团突袭,一口气端出全新的 Astra、Sol 以及主打网络安全的新模型。而在此之前,全网吃瓜网友已经找到了不少关于新模型的蛛丝马迹。昨天凌晨,模型追踪机器人突然在 OpenAI 的 API 列表里抓到了两只...
arXiv:2610.37905v1 发布类型:新 摘要:诸如美国证券交易委员会EDGAR等公开披露数据库通过网络访问企业申报文件,为知情投资提供支持。借助语言模型智能体对这些文件进行审查时,需要发现相关文档中未明示的缺陷、获取缺失的企业信息,并验证所请求的修订是否符合有据可依的要求。然而,现有的金融问答评测难以充分反映此类交互能力。我们提出了\textbf{FilingLoop},一个用于企业披露审查与修订的交互式基准测试及自进化智能体框架。FilingLoop以美国证券交易委员会的历史往来函件为基础,从96家公司的文件中重构出380项以首次公开募股审查为主的任务。
arXiv:2610.37851v1 发布类型:新 摘要:现有的科学智能体基准测试很少评估智能体是否能够重建测序协议所指定的精确分子结构和生成流程,而这一能力对于分析定制化测序实验至关重要。我们提出了 LibStructBench,一个基于文档的基准测试,用于重建测序文库结构和分子工作流程。我们的实验表明,前沿的智能体通常能够生成大致正确的重建结果,但在精确重建方面仍不够可靠,尤其是在分子状态表示和工作流程连通性方面。更换底层语言模型所带来的平均性能差异,甚至大于更换智能体框架所产生的差异,且这种差异具有统计学上的显著性。
arXiv:2610.37676v1 公告类型:新摘要:自动化可解释性通过让模型逐个标记地预测特征在评估样本上的激活位置,或判断标记的标记是否与该特征相符,从而对稀疏自编码器(SAE)特征的解释进行评分。我们发现,评估数据的标准处理流程可以在不读取解释的情况下完成评分。在Neuronpedia存储的针对500个随机GPT-2小型特征的模糊测试运行中,91.3%的激活样本都以中心标记为峰值进行裁剪;而当中心标记被标记时判定为“是”的规则,其平衡准确率达到了0.979,相比之下,基于存储的LLM评分器(根据管道代码重新计算的逐项判决结果)的准确率为0.838;仅依据标记数量的规则则达到了0.969。T
arXiv:2610.37859v1 发布类型:新 摘要:语言模型驱动的智能体与以往的智能系统存在根本性差异,其能够在上下文中从自然语言中学习。这一能力使智能体能够根据反馈逐步优化自己的回答,而这正是现代智能体工作流中普遍采用的操作模式。然而,学术界目前主要依据Pass@1或Pass@K等指标对模型进行排名,这些指标无法反映模型如何利用先前尝试的反馈信息。我们提出了Seq@K,这是一种自然的评估方案,用于衡量模型在每次先前失败后获得反馈的情况下,是否能在K次连续尝试内解决问题。与那些考察长期规划的多轮智能体基准测试不同,Seq@K将重点聚焦并形式化了从……中进行迭代优化的核心能力。
对基准测试行业的某种回顾,以及其中的缺失之处。
arXiv:2610.36178v1 发布类型:新 摘要:我们无需抽样误差,即可测量当被要求生成一个随机数时,语言模型为1至N之间的每个整数所分配的概率。对于固定的提示词,模型会定义一个概率向量;我们通过累加每个整数的得分拼写来计算该向量,而非采用抽样估计,从而消除了限制早期研究[1, 4]的噪声。我们在两个推理栈上,针对多达N=100的五个范围,评估了18条开放权重模型系列,并采用了29种解码配置;其中15个模型同时拥有基础版和指令微调版的检查点,且两者均能给出可用的答案。指令微调使这15对模型中的分布更加不均匀,它引入了一种避免使用整数的启发式方法,并强化了另一种避免接近端点的启发式方法。基础检查点
Anthropic 已经演示了它的天花板在哪
Property Finder 发现,其视觉AI评估标签中有96.8%源自现有模型,这掩盖了该模型的真实准确率。了解他们如何构建无偏的真值数据、实施进化式提示优化,并在 Amazon Bedrock 上选择了一款更精准且更具成本效益的模型,从而在11项图像质量指标上将成本降低了86%。
更快地生成令牌,首先要明确哪些因素限制了推理性能。在 NVIDIA 上对 Inclusion AI 的 Ling-3.0-flash 进行的单批次评估中……
百度发布了 Unlimited OCR 2,这是一款采用 MIT 许可证的 3B 参数规模的 OCR 模型,能够在一次请求中解析百页文档。其 SR-SWA 注意力机制使每步解码开销几乎保持不变,在 MarathonDocBench 上取得了 77.1 的得分。该文章《百度开源 Unlimited OCR 2,用于百页文档解析》首发于 MarkTechPost。
arXiv:2610.33017v1 发布类型:新 摘要:在以英语为主导的语料库上训练的多语言分词器往往会对印度语系语言进行过度切分,导致令牌序列更长,并加剧了不同书写系统之间的分词差异。我们提出了 AdaptTok-Indic,这是一种专为印度语系语言设计的自适应分词扩展方案,它将 Unicode 规范化的预处理与显式的印度语系连字处理、基于书写系统的路由策略,以及与小型 Transformer 语言模型联合训练的字节级边界预测相结合。在孟加拉语和印地语上进行评估,并额外针对古吉拉特语、泰米尔语和泰卢固语进行了测试,AdaptTok-Indic 在令牌生成密度方面优于面向印度语系的基准分词器 SentencePiece BPE,以及独立实现的 MAGNET 式基准。在五项已记录的…
arXiv:2610.32429v1 发布类型:新 摘要:大型语言模型(LLM)代理正越来越多地以异步方式执行任务:主代理在子代理运行的同时继续工作,而任务状态可能在其结果到达之前就已发生变化。主代理必须决定哪些工作需要更新或保留、哪些检查需要重复,同时避免进行被禁止的修改。仅凭最终任务的成功并不能说明这些结果是否被正确处理,而且自然的异步到达现象也难以复现。我们提出了 Async-RBench,一个用于评估 LLM 代理中异步任务执行的基准测试,包含涵盖八种场景的 200 个可执行任务。场景控制器通过预定义的任务状态条件来调控结果的交付,而事件响应契约(ERC)则规定了每种响应应满足的要求
arXiv:2610.33012v1 发布类型:新 摘要:具备工具调用能力的大型语言模型(LLM)智能体,在从相同初始状态出发的多次独立运行中,表现出行为不一致的现象,例如调用不同的工具、产生相互矛盾的输出,或采取截然不同的策略。这种行为上的波动会随时间累积,从而削弱部署的可靠性。现有的评估指标主要通过基于任务完成度的得分来衡量正确性,而未能捕捉智能体在多次执行中的行为一致性。此外,对智能体行为的分析要么停留在词元层面,借助概率分布进行评估;要么聚焦于单次响应层面,采用语义聚类方法,但两者均无法刻画不一致性如何在轨迹的后续步骤中进一步传播。我们提出了递归语义发散(RSD),一种无
arXiv:2610.33237v1 发布类型:新 摘要:语言模型如何判断自己是否拥有足够的证据来作答?语言模型往往会在证据不足的情况下仍给出答案。决定是直接作答还是继续收集更多证据,需要对现有证据下答案正确的概率做出精确的校准估计。然而,大多数校准研究都将输入视为固定不变,而未考虑这种估计应如何随证据的变化而调整。我们提出了“证据状态校准”,要求模型在作答前的置信度与其正确作答的概率相匹配,并且每当证据改变这一概率时,置信度也相应调整。我们提出了一种名为\ours{}(即“充分性置信度估计”)的方法,该方法通过微调