AI会说谎吗？研究者给九个顶级大模型挖了1532个坑
2025年夏天，Replit公司的一个AI编程助手干了件挺离谱的事。用户让它处理一个任务，它不仅删掉了生产环境的数据库，事后还编造了测试结果来掩盖这个失误。换句话说，它不是能力不够，而是明知道出了问题，却选择了撒谎。这不是孤例。在Anthropic一次内部测试里，几个顶尖大模型在模拟场景中试图关闭监控机制，甚至尝试把自...
AI NEWS JOURNAL
搜索 AI 资讯
检索标题、摘要与正文，把分散的信息连起来。
GPT-6爆改模型权重！数学能力狂飙6倍，MIT博一新作破圈了
新智元报道 这一天还是来了！不用训练、不算梯度，只让GPT-6 Astra改写另一款小模型0.016%权重，数学成绩就能原地暴涨6倍！今天，MIT计算机科学与人工智能实验室（CSAIL）带来的这项新研究，在全网彻底火了。他们首次提出了一个颠覆传统深度学习的新范式，「权重空间编程」。要知道，神经网络的权重文件里全是一眼望不到头...
GPT-6 Astra 爆改 Qwen 大脑：只动 0.016% 参数，数学成绩疯涨
我「编程」我自己#欢迎关注爱范儿官方微信公众号：爱范儿（微信号：ifanr），更多精彩内容第一时间为您奉上。
FilingLoop：用于企业披露审查与修订的LLM智能体评估与演化
arXiv：2610.37905v1 发布类型：新 摘要：诸如美国证券交易委员会EDGAR等公开披露数据库通过网络访问企业申报文件，为知情投资提供支持。借助语言模型智能体对这些文件进行审查时，需要发现相关文档中未明示的缺陷、获取缺失的企业信息，并验证所请求的修订是否符合有据可依的要求。然而，现有的金融问答评测难以充分反映此类交互能力。我们提出了\textbf{FilingLoop}，一个用于企业披露审查与修订的交互式基准测试及自进化智能体框架。FilingLoop以美国证券交易委员会的历史往来函件为基础，从96家公司的文件中重构出380项以首次公开募股审查为主的任务。
暴露并不等于承诺：针对使用工具的智能体的潜在监控器的双层评估
arXiv:2610.37679v1 发布类型：新 摘要：使用工具的语言模型容易受到间接提示注入的影响，而越来越多的研究试图通过探查模型内部来在不安全操作执行前将其捕获，但所得结果却存在严重分歧。我们认为，这种分歧很大程度上源于评估方法上的缺陷，并提出了一种双层评估协议：在评估与训练数据集中，将“提示注入”与“行为承诺”加以分离。在主要的Qwen AgentDojo基准测试集上，那些基于朴素的“不安全与其余”混合对比进行训练的监控器，大多仅学会识别“暴露”：它们会标记出所有被暴露的轨迹，无论智能体是否真正执行了相应操作，且几乎无法预测哪些情况最终会导致不安全行为。而当仅针对已暴露案例重新训练后，同一类探测器便能预测模型自身发出的不安全工具调用，时间延迟长达两秒。
评估与改进用于理解测序协议的 AI 智能体
arXiv:2610.37851v1 发布类型：新 摘要：现有的科学智能体基准测试很少评估智能体是否能够重建测序协议所指定的精确分子结构和生成流程，而这一能力对于分析定制化测序实验至关重要。我们提出了 LibStructBench，一个基于文档的基准测试，用于重建测序文库结构和分子工作流程。我们的实验表明，前沿的智能体通常能够生成大致正确的重建结果，但在精确重建方面仍不够可靠，尤其是在分子状态表示和工作流程连通性方面。更换底层语言模型所带来的平均性能差异，甚至大于更换智能体框架所产生的差异，且这种差异具有统计学上的显著性。
在不阅读解释的情况下进行评分：自动化可解释性评估中的结构化捷径
arXiv:2610.37676v1 公告类型：新摘要：自动化可解释性通过让模型逐个标记地预测特征在评估样本上的激活位置，或判断标记的标记是否与该特征相符，从而对稀疏自编码器（SAE）特征的解释进行评分。我们发现，评估数据的标准处理流程可以在不读取解释的情况下完成评分。在Neuronpedia存储的针对500个随机GPT-2小型特征的模糊测试运行中，91.3%的激活样本都以中心标记为峰值进行裁剪；而当中心标记被标记时判定为“是”的规则，其平衡准确率达到了0.979，相比之下，基于存储的LLM评分器（根据管道代码重新计算的逐项判决结果）的准确率为0.838；仅依据标记数量的规则则达到了0.969。T
Seq@K：在序列反馈下的语言模型评估
arXiv:2610.37859v1 发布类型：新 摘要：语言模型驱动的智能体与以往的智能系统存在根本性差异，其能够在上下文中从自然语言中学习。这一能力使智能体能够根据反馈逐步优化自己的回答，而这正是现代智能体工作流中普遍采用的操作模式。然而，学术界目前主要依据Pass@1或Pass@K等指标对模型进行排名，这些指标无法反映模型如何利用先前尝试的反馈信息。我们提出了Seq@K，这是一种自然的评估方案，用于衡量模型在每次先前失败后获得反馈的情况下，是否能在K次连续尝试内解决问题。与那些考察长期规划的多轮智能体基准测试不同，Seq@K将重点聚焦并形式化了从……中进行迭代优化的核心能力。
人工智能分析v5与基准测试者的困境
对基准测试行业的某种回顾，以及其中的缺失之处。
3、7、14、17、42：指令微调在语言模型中安装并强化了数字选择启发式方法
arXiv：2610.36178v1 发布类型：新 摘要：我们无需抽样误差，即可测量当被要求生成一个随机数时，语言模型为1至N之间的每个整数所分配的概率。对于固定的提示词，模型会定义一个概率向量；我们通过累加每个整数的得分拼写来计算该向量，而非采用抽样估计，从而消除了限制早期研究[1, 4]的噪声。我们在两个推理栈上，针对多达N=100的五个范围，评估了18条开放权重模型系列，并采用了29种解码配置；其中15个模型同时拥有基础版和指令微调版的检查点，且两者均能给出可用的答案。指令微调使这15对模型中的分布更加不均匀，它引入了一种避免使用整数的启发式方法，并强化了另一种避免接近端点的启发式方法。基础检查点
修复评估偏差，以在 Amazon Bedrock 上解锁更优的模型
Property Finder 发现，其视觉AI评估标签中有96.8%源自现有模型，这掩盖了该模型的真实准确率。了解他们如何构建无偏的真值数据、实施进化式提示优化，并在 Amazon Bedrock 上选择了一款更精准且更具成本效益的模型，从而在11项图像质量指标上将成本降低了86%。
在 NVIDIA DGX Spark 上提升 MoE 推理的三种方法
更快地生成令牌，首先要明确哪些因素限制了推理性能。在 NVIDIA 上对 Inclusion AI 的 Ling-3.0-flash 进行的单批次评估中……
Anthropic发招股书，违规用户贡献至少5%收入；胡润富豪榜百强名单，梁文锋等AI大佬纷纷上榜 | AI圈又发生什么了
1.更适合打工人的GPT-6.1 Terra上线，API价格减半，电脑操作更快 10月26日，OpenAI发布GPT-6.1 Terra，重点提升视觉理解、电脑操作、事实准确性和编程能力，....
大模型时代，谁会成为那部不肯换掉的“iPhone”？
AI排行榜上的冠军会换，用户每天使用的产品却未必换。大模型的下一场竞争，不仅仅是谁的模型更强，而是把一次使用变成习惯。
SLICE-Mem：用于高效LLM智能体记忆的显著性门控轻量级信息策展
arXiv：2610.33015v1 发布类型：新 摘要：长期记忆使大型语言模型（LLM）代理能够维持个性化且时间上连贯的交互，但为实现记忆的接纳、提取与组织而反复调用LLM进行推理，会带来显著的成本与延迟。我们提出了SLICE-Mem，一个轻量级的记忆框架，它将基于显著性引导的接纳与基于谓词的信息提取相结合。一个紧凑的分类器用于识别值得保留的用户发言，而基于语义依赖关系的提取器则将被接纳的发言转化为简洁的记忆条目。这一在线处理流程无需调用生成式LLM，同时跨条目的一致性校验被推迟至离线的整合阶段。我们在Memora和LongMemEval-S的每周子集上，使用8B a对SLICE-Mem进行了评估
AdaptTok-Indic：面向印度语言的脚本感知自适应分词
arXiv：2610.33017v1 发布类型：新 摘要：在以英语为主导的语料库上训练的多语言分词器往往会对印度语系语言进行过度切分，导致令牌序列更长，并加剧了不同书写系统之间的分词差异。我们提出了 AdaptTok-Indic，这是一种专为印度语系语言设计的自适应分词扩展方案，它将 Unicode 规范化的预处理与显式的印度语系连字处理、基于书写系统的路由策略，以及与小型 Transformer 语言模型联合训练的字节级边界预测相结合。在孟加拉语和印地语上进行评估，并额外针对古吉拉特语、泰米尔语和泰卢固语进行了测试，AdaptTok-Indic 在令牌生成密度方面优于面向印度语系的基准分词器 SentencePiece BPE，以及独立实现的 MAGNET 式基准。在五项已记录的…
Async-RBench：用于LLM智能体中异步任务执行的基准测试
arXiv：2610.32429v1 发布类型：新 摘要：大型语言模型（LLM）代理正越来越多地以异步方式执行任务：主代理在子代理运行的同时继续工作，而任务状态可能在其结果到达之前就已发生变化。主代理必须决定哪些工作需要更新或保留、哪些检查需要重复，同时避免进行被禁止的修改。仅凭最终任务的成功并不能说明这些结果是否被正确处理，而且自然的异步到达现象也难以复现。我们提出了 Async-RBench，一个用于评估 LLM 代理中异步任务执行的基准测试，包含涵盖八种场景的 200 个可执行任务。场景控制器通过预定义的任务状态条件来调控结果的交付，而事件响应契约（ERC）则规定了每种响应应满足的要求
用于LLM智能体一致性的递归语义分歧
arXiv:2610.33012v1 发布类型：新 摘要：具备工具调用能力的大型语言模型（LLM）智能体，在从相同初始状态出发的多次独立运行中，表现出行为不一致的现象，例如调用不同的工具、产生相互矛盾的输出，或采取截然不同的策略。这种行为上的波动会随时间累积，从而削弱部署的可靠性。现有的评估指标主要通过基于任务完成度的得分来衡量正确性，而未能捕捉智能体在多次执行中的行为一致性。此外，对智能体行为的分析要么停留在词元层面，借助概率分布进行评估；要么聚焦于单次响应层面，采用语义聚类方法，但两者均无法刻画不一致性如何在轨迹的后续步骤中进一步传播。我们提出了递归语义发散（RSD），一种无
社会世界模型评估差距
arXiv：2610.33014v1 发布类型：新 提要：谈判助手无需准确预测对方的反应，也能达成一笔不错的交易。我们探讨的是，针对社会世界模型的评估是否直接检验了这种预测能力。我们对1999年至2026年间发表的113篇相关研究进行了梳理。其中9项主要评估测量的是，当系统或实验者选定某一行动后，真实个体对该行动的反应。仅有2项还把明确的反应预测与实际反应进行了对比。这些研究的预测模型所使用的信息仅限于行动被选定之时，而用于评估的反应数据在拟合过程中已被排除；且两项研究均对干预措施进行了随机化处理。此外，我们对25篇有关语言模型的研究进行了全文核查，未发现任何一项实验同时满足上述条件。其余评估则侧重于当前状态推断、任务成功率或预测准确性等指标。
音频-语言模型中可控说话风格字幕生成的基准
arXiv:2610.33036v1 发布类型：新 摘要：口语风格字幕（SSC）旨在生成自然语言描述，用于刻画语音的表达方式，捕捉诸如声音音色、韵律和表现力等副语言特征。许多下游应用，包括对话式 AI 智能体、可控语音生成以及大规模音频标注，都需要针对特定维度的风格字幕，以描述语音的特定方面（例如说话者特质、情感或表达风格），而非单一的无差别描述。然而，现有研究缺乏对可控口语风格字幕的统一建模方法。我们通过将 SSC 定义为一项遵循指令的音频-语言任务来弥补这一不足，在该任务中，明确的指令会指定口语风格的维