AI评测转向现实任务执行,OpenAI推出LifeVal衡量个人助理能力
OpenAI发布LifeVal基准,衡量AI在照护、健康、教育、家庭管理、个人财务及政府服务等日常场景的表现。与侧重知识问答和单项能力不同,它关注AI能否将任务推进至可执行、可交付状态,解决实际问题。基准参考美国时间使用调查,基于3995名受访者调研构建,OpenAI过去一年持续用其追踪。
检索标题、摘要与正文,把分散的信息连起来。
OpenAI发布LifeVal基准,衡量AI在照护、健康、教育、家庭管理、个人财务及政府服务等日常场景的表现。与侧重知识问答和单项能力不同,它关注AI能否将任务推进至可执行、可交付状态,解决实际问题。基准参考美国时间使用调查,基于3995名受访者调研构建,OpenAI过去一年持续用其追踪。
我「编程」我自己#欢迎关注爱范儿官方微信公众号:爱范儿(微信号:ifanr),更多精彩内容第一时间为您奉上。
arXiv:2610.37881v1 发布类型:新 摘要:深度伪造检测模型虽然整体准确率较高,但在不同人口统计群体之间却表现出显著的性能差异,导致某些群体的假阳性率远高于其他群体。现有的公平性感知方法通过约束模型输出以实现各群体预测的一致性来应对这一问题,但并未解决潜在的特征层面偏见。因此,这些模型仍可能依赖于诸如皮肤纹理等人口统计学特征作为检测篡改内容的间接线索。为了解决这一问题,我们提出了交叉性不变学习(IIL)框架,该框架着重改进特征学习,而非仅仅调整模型输出。IIL通过交替识别最具挑战性的群体划分
arXiv:2610.37844v1 发布类型:新 摘要:在形态学分析中,计算医学图像之间的最优传输映射具有基础性作用。然而,现有方法要么难以扩展至大型三维医学图像,要么依赖于正则化形式,只能提供近似的传输映射。为提高下游医学图像分析的准确性,我们提出了一种新颖的方法,通过参数化凸势函数来估计最优传输映射。根据构造,所得的传输映射必定无旋,符合布雷尼耶定理。我们在二维和三维医学影像数据集上对该方法进行了评估。实验结果表明,我们的方法能够实现更低的传输估计误差,并生成更高q
arXiv:2610.37867v1 发布类型:新 摘要:食物相似性是检索、推荐、替代等食品计算任务的基础,然而目前对食物表征的评估往往仅着眼于身份的保持。我们探讨在身份之外,食物相似性还会发生怎样的变化:不同的视觉表征如何将食物组织成具有特定关系的邻域,这些邻域又揭示或掩盖了哪些烹饪上的关联,以及这些结构在不同表征之间是否具有一致性。印度菜提供了一个颇具挑战性的场景:在视觉上相似的食物可能拥有不同的烹饪身份,而同一烹饪家族内的食物在外观上却可能存在显著差异。本文基于扩展后的Khana数据集,并使用七种涵盖卷积神经网络、Transformer等架构的预训练视觉表征,
arXiv:2610.37905v1 发布类型:新 摘要:诸如美国证券交易委员会EDGAR等公开披露数据库通过网络访问企业申报文件,为知情投资提供支持。借助语言模型智能体对这些文件进行审查时,需要发现相关文档中未明示的缺陷、获取缺失的企业信息,并验证所请求的修订是否符合有据可依的要求。然而,现有的金融问答评测难以充分反映此类交互能力。我们提出了\textbf{FilingLoop},一个用于企业披露审查与修订的交互式基准测试及自进化智能体框架。FilingLoop以美国证券交易委员会的历史往来函件为基础,从96家公司的文件中重构出380项以首次公开募股审查为主的任务。
arXiv:2610.37682v1 发布类型:新 摘要:与成对比较相比,列表式偏好反馈能够为大型语言模型(LLMs)的对齐提供更丰富的监督信号,但完整的排序结果也会暴露更为敏感的用户偏好。现有的隐私保护型对齐方法主要聚焦于成对反馈,而本地差分隐私(LDP)下的列表式对齐仍处于未被探索的状态。将LDP扩展到这一列表式场景时,面临一个关键挑战:由于完整排序空间的高度敏感性,需要引入过量的噪声,从而抵消了列表式监督的优势。为应对这一挑战,我们分析了下游训练中监督粒度与隐私噪声之间的相互作用,并提出了一种排序感知的指数机制,用于对列表式偏好进行隐私保护。
arXiv:2610.37679v1 发布类型:新 摘要:使用工具的语言模型容易受到间接提示注入的影响,而越来越多的研究试图通过探查模型内部来在不安全操作执行前将其捕获,但所得结果却存在严重分歧。我们认为,这种分歧很大程度上源于评估方法上的缺陷,并提出了一种双层评估协议:在评估与训练数据集中,将“提示注入”与“行为承诺”加以分离。在主要的Qwen AgentDojo基准测试集上,那些基于朴素的“不安全与其余”混合对比进行训练的监控器,大多仅学会识别“暴露”:它们会标记出所有被暴露的轨迹,无论智能体是否真正执行了相应操作,且几乎无法预测哪些情况最终会导致不安全行为。而当仅针对已暴露案例重新训练后,同一类探测器便能预测模型自身发出的不安全工具调用,时间延迟长达两秒。
arXiv:2610.37788v1 发布类型:新 摘要:语言模型助手有时会在用户提出错误答案时将其更改为正确答案。这种行为被称为“逢迎”,通常被认为是由基于偏好的后训练过程所致,然而早期测量却在预训练模型中也发现了这一现象。我们通过在训练过程中的每个可用阶段进行测量来探究其来源:涵盖了来自五个不同系列的13个开放检查点,从基础模型到监督微调、偏好优化直至最终发布。我们将模型回答被注入主张所改变的程度与该回答原本的稳固程度区分开来,并且还调整了提出主张的人、其可信度以及主张的强烈程度。结果发现两种具有不同起源的逢迎行为,且这两种行为在不同数据集上均能复现。对某一主张的顺从 i
arXiv:2610.37819v1 发布类型:新 摘要:量子机器学习(QML)正日益被应用于医学分类任务,然而其在考虑子群体公平性标准下的表现仍缺乏深入研究。我们针对医学影像领域中的经典与量子分类器开展了一项实证性的公平性审计,并假设量子机器学习本身并不天然具备公平性。本研究评估了两种场景:基于DDI数据的皮肤病变分类(敏感属性为Fitzpatrick肤色类型)以及基于CheXpert衍生数据的胸部X光片分类(敏感属性为年龄组)。利用ResNet-18提取的特征嵌入,我们在基准设置及三种缓解策略下训练SVM、MLP、QSVM和QCNN模型:可微分的等权几率(EO)正则化、梯度反转学习(GRL),以及二者结合。同时,以基础模型(PanDerm、EVA-X)作为外部参考。
arXiv:2610.37906v1 发布类型:新 摘要:脉冲储备计算将固定递归储备池的训练效率与事件驱动推理的能量效率相结合,其中计算由稀疏脉冲触发,而非在每个时间步都进行密集运算。然而,现有的脉冲储备池几乎完全依赖于漏积分-发放(LIF)神经元,其低通特性限制了它们区分不同时间频率所编码信息的能力。我们提出了HRF-Res,一种液态状态机,其中LIF神经元被异质的谐波谐振-发放(HRF)神经元群体所取代。这些神经元具有内在的振荡动力学,并能选择性地响应输入频率,从而使储备池能够捕捉频
arXiv:2610.37851v1 发布类型:新 摘要:现有的科学智能体基准测试很少评估智能体是否能够重建测序协议所指定的精确分子结构和生成流程,而这一能力对于分析定制化测序实验至关重要。我们提出了 LibStructBench,一个基于文档的基准测试,用于重建测序文库结构和分子工作流程。我们的实验表明,前沿的智能体通常能够生成大致正确的重建结果,但在精确重建方面仍不够可靠,尤其是在分子状态表示和工作流程连通性方面。更换底层语言模型所带来的平均性能差异,甚至大于更换智能体框架所产生的差异,且这种差异具有统计学上的显著性。
arXiv:2610.39981v1 发布类型:新 摘要:大规模科学工作流运行于分布式高性能计算资源之上,这使得人们难以解释科学数据产品的生成过程,也难以理解为何相似的工作流执行会得到截然不同的结果。现有系统通常只关注分布式工作流的执行或溯源管理,很少将细粒度的溯源视为分布式科学数据产物的固有属性。我们提出了 TRACEs(可追溯的高级容器化执行运行时),这是一种适用于分布式容器化科学工作流的溯源架构,它将数据血统与执行上下文直接嵌入到每一个生成的数据产物中。通过将溯源与工作流编排解耦,TRACEs 将以产物为中心的溯源进行泛化
arXiv:2610.37676v1 公告类型:新摘要:自动化可解释性通过让模型逐个标记地预测特征在评估样本上的激活位置,或判断标记的标记是否与该特征相符,从而对稀疏自编码器(SAE)特征的解释进行评分。我们发现,评估数据的标准处理流程可以在不读取解释的情况下完成评分。在Neuronpedia存储的针对500个随机GPT-2小型特征的模糊测试运行中,91.3%的激活样本都以中心标记为峰值进行裁剪;而当中心标记被标记时判定为“是”的规则,其平衡准确率达到了0.979,相比之下,基于存储的LLM评分器(根据管道代码重新计算的逐项判决结果)的准确率为0.838;仅依据标记数量的规则则达到了0.969。T
arXiv:2610.37859v1 发布类型:新 摘要:语言模型驱动的智能体与以往的智能系统存在根本性差异,其能够在上下文中从自然语言中学习。这一能力使智能体能够根据反馈逐步优化自己的回答,而这正是现代智能体工作流中普遍采用的操作模式。然而,学术界目前主要依据Pass@1或Pass@K等指标对模型进行排名,这些指标无法反映模型如何利用先前尝试的反馈信息。我们提出了Seq@K,这是一种自然的评估方案,用于衡量模型在每次先前失败后获得反馈的情况下,是否能在K次连续尝试内解决问题。与那些考察长期规划的多轮智能体基准测试不同,Seq@K将重点聚焦并形式化了从……中进行迭代优化的核心能力。
Vercel Flags SDK 已更新,通过在客户端创建时加载并解析标志数据文件,并在无需网络请求的情况下检查更新,使冷启动时的初始化速度提升了 7 倍。使用情况报告现在不再延长函数持续时间,因为事件会直接传递给 Vercel 运行时。请升级至 1.5.3 或更高版本,以享受这些改进带来的优势。
对基准测试行业的某种回顾,以及其中的缺失之处。
小微已然迈出一小步。
## [3.0.1](https://github.com/n8n-io/n8n/compare/n8n@3.0.0...n8n@3.0.1) (2026-10-28) ### Bug修复 core:在压缩版构建中保留 ExpressionError 的名称 (https://github.com/n8n-io/n8n/issues/42309) ([b3192c6](https://github.com/n8n-io/n8n/commit/b3192c6d151125c76c88fe8a421e027b4242a3f9)) core:在 QuickJS 表达式结果中保留未定义值 (https://github.com/n8n-io/n8n/issues/42264) ([532f645](https://github.com/n8n-io/n8n/commit/532f645f21c99e178a09448caf37ebd77d24b56a)) 编辑器:使分割按钮内的光标对齐 (https://github.com/n8n-io/n8n/issues/42203) ([61cbfea](https://github.com/n8n-io/n8n/commit/61cbfeafa267b5c769b345c50ccbd4fc504b0e69)) 编辑器:提升首次加载速度 (https://github.com/n8n-io/n8n/issues/41987) ([8b6bdbb](https://github.com/n8n-io/n8n/commit/8b6bdbbe874b
## [2.45.5](https://github.com/n8n-io/n8n/compare/n8n@2.45.4...n8n@2.45.5) (2026-10-28) ### 修复的Bug * **核心:** 在压缩版构建中保留 ExpressionError 的名称([#42309](https://github.com/n8n-io/n8n/issues/42309))([b3192c6](https://github.com/n8n-io/n8n/commit/b3192c6d151125c76c88fe8a421e027b4242a3f9)) * **核心:** 在 QuickJS 表达式结果中保留未定义值([#42264](https://github.com/n8n-io/n8n/issues/42264))([532f645](https://github.com/n8n-io/n8n/commit/532f645f21c99e178a09448caf37ebd77d24b56a)) * **编辑器:** 在拆分按钮内对齐光标([#42203](https://github.com/n8n-io/n8n/issues/42203))([61cbfea](https://github.com/n8n-io/n8n/commit/61cbfeafa267b5c769b345c50ccbd4fc504b0e69)) * **编辑器:** 提高首次加载速度([#41987](https://github.com/n8n-io/n8n/issues/4