跳到正文
AI NEWS JOURNAL
AI, IN PERSPECTIVE

搜索 AI 资讯

检索标题、摘要与正文,把分散的信息连起来。

按发布时间排序

MemPlan:面向部分可观测文本环境的记忆增强型PDDL规划框架

该论文于2026年10月24日在arXiv发布(编号2610.30379v1),提出MemPlan——一种将大语言模型(LLM)作为语言与符号规划之间受限桥梁的记忆条件化PDDL规划框架,适用于部分可观测的交互式文本环境。

MemPlan: Memory-Conditioned PDDL Planning for Partially Observable Text Environments

推荐理由:MemPlan通过正向图记忆与负向记忆机制动态重构PDDL问题,显著提升任务完成率与步数效率,同时大幅降低在线token消耗;其离线微调的语言–符号接口可跨TextWorld任务类型复用,无需任务特化微调,体现了方法的泛化性与实用性。

事件进展与其他报道

IFC-MCQ:面向建筑信息模型的LLM代理自动多选题基准生成方法

研究者于2026年10月24日在arXiv发布IFC-MCQ方法,旨在为建筑、工程与施工(AEC)领域中基于大语言模型(LLM)的Industry Foundation Classes(IFC)数据检索系统,自动生成可精确评分的多选题基准。

IFC-MCQ: Automatically Generating Multiple-Choice Benchmarks for Evaluating LLM Agents on IFC Data Retrieval

推荐理由:该工作直面LLM在专业结构化数据(如IFC)上评估难、成本高的痛点,提出首个面向IFC文件的自动化多选题生成框架,覆盖15类36子类,支持可复现、可扩展的代理能力评测。

事件进展与其他报道

FusionEval发布:面向大语言模型融合的新基准测试

2026年10月24日,研究者在arXiv发布论文arXiv:2610.30162v1,提出FusionEval——首个专用于评估大语言模型融合方法的统一基准,覆盖推理链长度、工具调用等薄弱环节,并支持训练型与免训练型融合方法对比。

FusionEval: Benchmarking Model Fusion for Large Language Models

推荐理由:该基准填补了现有评测对长链推理与工具使用覆盖不足的空白,明确区分平均性能与最差能力保留,提供可复现的专家池(基于Qwen3/Llama)、多维指标(含GPU内存与运行时)及开源代码,具强实践指导性。

事件进展与其他报道

研究揭示编码智能体基准测试中的“规范-预言机差距”问题

一篇于2026年10月24日发布在arXiv的论文指出,当前主流编码智能体基准(如SWE-Milestone)存在“规范-预言机差距”:任务自然语言描述未涵盖测试所需的关键实现细节(如常量名、模块路径、精确错误消息),导致评测实际衡量的是对上游代码的复现能力而非真正理解与推理能力。

What the Specification Did Not Say: Specification-Oracle Gaps in Test-Graded Coding-Agent Benchmarks

推荐理由:该研究首次形式化定义该类偏差,构建覆盖五种语言的静态审计工具(精度89.2%,召回率92.9%),并在SWE-Milestone中实证发现25个里程碑任务含不可推断的隐式依赖,显著拉高失败率(80.6% vs 48.4%),揭示当前排行榜可能系统性偏爱‘抄名称’型智能体;成果已开源审计工具与修正资源,具方法论与实践双重价值。

事件进展与其他报道

研究揭示开源大模型在结构化抽取中普遍存在列表填充现象

一项发表于2026年10月24日arXiv的实证研究(论文编号2610.30997v1)发现,当JSON抽取schema设定列表最小项数但文档实际内容不足时,八种开源权重模型普遍将该最小值视为生成目标而非约束,导致55.4%的输出列表长度超过真实数量(基线为34.5%);填充项多取自原文,约半数能通过来源一致性校验;常见缓解策略效果有限。

Padding to k: A Minimum Count in the Schema Makes Open-Weight Models Pad Their Extraction Lists

推荐理由:该研究采用预注册方案,在558份真实文档、九个标注数据集上系统评估八种开源模型及六种托管服务模型,方法严谨、数据公开(代码与结果已发布至GitHub),揭示了结构化信息抽取中易被忽视却影响下游任务可靠性的关键缺陷——schema诱导的非忠实填充行为。

事件进展与其他报道